[논문 리뷰] Vectorization and Rasterization: Self-Supervised Learning for Sketch and Handwriting

Ayan Kumar Bhunia, Pinaki Nath Chowdhury외 4명|arXiv (Cornell University)|2021. 03. 25.

Multimodal Machine Learning Applications참고 문헌 64인용 수 8

한 줄 요약

이 논문은 래스터 이미지와 벡터 좌표 시퀀스 간의 다중모odal 번역 — 벡터화(이미지 → 벡터)와 래스터화(벡터 → 이미지) — 를 활용하여 스케치 및 손글씨 데이터를 위한 자기지도 학습 프레임워크를 제안한다. 이는 강력하고 일반화 능력이 뛰어난 표현을 학습한다. 이 방법은 스케치 인식, 검색, 손글씨 작업에서 기존 자기지도 학습 및 일부 완전 지도 학습 기반 모델을 능가하며, 자기지도 사전학습을 통해 QuickDraw에서 71.9%의 top-1 정확도를 달성한다.

ABSTRACT

Self-supervised learning has gained prominence due to its efficacy at learning powerful representations from unlabelled data that achieve excellent performance on many challenging downstream tasks. However supervision-free pre-text tasks are challenging to design and usually modality specific. Although there is a rich literature of self-supervised methods for either spatial (such as images) or temporal data (sound or text) modalities, a common pre-text task that benefits both modalities is largely missing. In this paper, we are interested in defining a self-supervised pre-text task for sketches and handwriting data. This data is uniquely characterised by its existence in dual modalities of rasterized images and vector coordinate sequences. We address and exploit this dual representation by proposing two novel cross-modal translation pre-text tasks for self-supervised feature learning: Vectorization and Rasterization. Vectorization learns to map image space to vector coordinates and rasterization maps vector coordinates to image space. We show that the our learned encoder modules benefit both raster-based and vector-based downstream approaches to analysing hand-drawn data. Empirical evidence shows that our novel pre-text tasks surpass existing single and multi-modal self-supervision methods.

연구 동기 및 목표

• 스케치 및 손글씨 분석에서 데이터 주석의 한계를 해결하기 위해 자기지도 표현 학습을 가능하게 한다.
• 스케치 및 손글씨 데이터의 이중 래스터/벡터 성격을 공통의 감독 신호로 활용한다.
• 이미지 기반 및 시퀀스 기반의 최종 모델 모두에 유익한 통합된 사전 텍스트 작업을 설계한다.
• 지도 학습이 비실용적인 저데이터 환경에서 성능을 향상시킨다.
• 스케치와 손글씨 간의 다중모달 및 다중작업 전이 학습을 가능하게 한다.

제안 방법

• 래스터 이미지와 벡터 시퀀스 간의 다중모달 번역을 위한 두 가지 새로운 사전 텍스트 작업을 제안한다: 벡터화(래스터 이미지 → 벡터 시퀀스)와 래스터화(벡터 시퀀스 → 래스터 이미지).
• 양방향 번역을 위해 공통의 인코더 백본(예: ResNet)을 사용하여 양 모달에서 특징을 추출하고, 각 방향의 번역에 대해 별도의 디코더를 적용한다.
• 유사도 기반 학습을 통해 동일한 스케치의 서로 다른 모달에서 추출된 특징을 정렬함으로써, 분리된 표현과 의미적으로 풍부한 표현을 유도한다.
• 안정적인 성능을 위해 표준 데이터 증강 기법(수평 뒤집기, 무작위 자르기)을 적용하지만, 증강 전략에 관계없이 결과가 안정적이다.
• 학습된 표현 위에 선형 분류기를 적용하여 고정된 특징에서 선형 프로빙을 수행함으로써 특징의 성능을 평가한다.
• 이미지 및 벡터 모달의 특징을 연결하여 최종적으로 최종 작업에서의 성능을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 래스터 이미지와 벡터 시퀀스 간의 다중모달 번역이 스케치 및 손글씨 데이터에 대해 효과적인 자기지도 사전 텍스트 작업이 될 수 있는가?
• RQ2 제안된 방법이 다양한 스케치 카테고리와 데이터셋 간에 일반화되는 표현을 학습하는가?
• RQ3 한 모달(예: 이미지)에서 학습된 특징이 다른 모달(예: 벡터)로 효과적으로 전이되어 최종 작업에서 활용될 수 있는가?
• RQ4 스케치 및 손글씨 인식에서 기존 자기지도 학습 방법(SimCLR, MoCo, CPC)과 비교해 성능가능성이 있는가?
• RQ5 저데이터 환경에서 자기지도 특징가 완전 지도 학습 기반 모델의 성능을 따라하거나 뛰어넘을 수 있는가?

주요 결과

• 평가된 80개의 미사용 QuickDraw 클래스에서, 제안된 방법은 스케치 이미지에서 65.1%의 top-1 정확도, 벡터에서 58.4%의 정확도를 기록하며 SimCLR(이미지에서 53.6%)를 크게 능가한다.
• QuickDraw에서 TU-Berlin으로의 교차 데이터셋 일반화 평가에서, 스케치 이미지에서 58.9%의 top-1 정확도, 벡터에서 36.9%의 정확도를 달성하여 강력한 전이 능력을 입증한다.
• 교차 작업 일반화 평가에서, 손글씨 데이터에 대해 스케치 이미지에서 37.6%, 벡터에서 33.7%의 top-1 정확도를 기록하며, CPC 및 무작위 기반 모델을 능가한다.
• 이미지 및 벡터 모달의 특징을 결합함으로써 top-1 정확도가 72.8%로 향상되었으며, 래스터 이미지만을 사용한 경우의 71.9%를 초월한다.
• 백본 아키텍처에 관계없이 잘 일반화되며, AlexNet을 사용할 경우 63.3%의 top-1 정확도, ResNet50을 사용할 경우 71.9%의 정확도를 기록하여 설계의 강건성을 확인한다.
• 저데이터 환경에서 완전 지도 학습 기반 모델을 능가하며, 자기지도 사전학습만으로도 그 성능에 가까이 접근한다.