[논문 리뷰] Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt

Hangyu Lin, Yanwei Fu외 2명|arXiv (Cornell University)|2020. 05. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 8

한 줄 요약

Sketch-BERT는 트랜스포머 기반 아키텍처를 사용하여 스케치 표현 학습을 위한 자기지도 사전 훈련 프레임워크를 제안하며, 마스킹된 점의 위치와 상태를 예측하는 새로운 스케치 게스트랄트(sGesta) 작업을 도입한다. 이 작업을 통해 QuickDraw 데이터셋에서 사전 훈련을 수행함으로써, 스케치 인식, 검색, 생성 재구성 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 기준 모델 대비 하류 작업의 수렴 속도와 정확도를 크게 향상시킨다.

ABSTRACT

Previous researches of sketches often considered sketches in pixel format and leveraged CNN based models in the sketch understanding. Fundamentally, a sketch is stored as a sequence of data points, a vector format representation, rather than the photo-realistic image of pixels. SketchRNN studied a generative neural representation for sketches of vector format by Long Short Term Memory networks (LSTM). Unfortunately, the representation learned by SketchRNN is primarily for the generation tasks, rather than the other tasks of recognition and retrieval of sketches. To this end and inspired by the recent BERT model, we present a model of learning Sketch Bidirectional Encoder Representation from Transformer (Sketch-BERT). We generalize BERT to sketch domain, with the novel proposed components and pre-training algorithms, including the newly designed sketch embedding networks, and the self-supervised learning of sketch gestalt. Particularly, towards the pre-training task, we present a novel Sketch Gestalt Model (SGM) to help train the Sketch-BERT. Experimentally, we show that the learned representation of Sketch-BERT can help and improve the performance of the downstream tasks of sketch recognition, sketch retrieval, and sketch gestalt.

연구 동기 및 목표

• 스케치를 2차원 이미지로 다루는 CNN 기반 모델의 한계를 해결하기 위해 스케치를 순차적 벡터 데이터로 간주하는 것.
• 인식, 검색, 생성 작업 전반에 걸쳐 일반화 가능한 일반 목적의 스케치 표현 모델을 개발하는 것.
• 스케치 포인트를 마스킹된 상태에서 복원하는 데 초점을 맞춘 새로운 자기지도 사전 훈련 작업인 스케치 게스트랄트(Sketch Gestalt)를 도입하는 것.
• 도메인 특화 임bedding과 개선된 아키텍처를 활용해 BERT 프레임워크를 스케치 도메인에 적응시키는 것.
• 스케치 게스트랄트를 통한 사전 훈련이 하류 성능 향상과 수렴 속도 향상에 기여함을 입증하는 것.

제안 방법

• 순차적 스케치 데이터를 위한 벡터 형식에 최적화된 세 단계 임베딩: 점 임베딩, 위치 임베딩, 스트로크 임베딩.
• 원시 스케치 토큰을 트랜스포머 입력 공간으로 투영하기 위한 정교한 임베딩 네트워크 도입.
• BERT의 마스킹 언어 모델링을 영감으로 삼아, 마스킹된 스케치 포인트의 연속적 위치와 이산적 상태 값을 모두 예측하는 새로운 스케치 게스트랄트 모델(SGM) 설계.
• 자기주의 어텐션을 활용해 스케치 시퀀스의 장거리 의존성을 모델링하는 다중 헤드, 가중치 공유 트랜스포머 인코더 사용.
• 이중 목표 자기지도 사전 훈련 작업: 마스킹된 위치 예측 및 마스킹된 상태 예측.
• 스케치 분류, 검색, 게스트랄트 재구성과 같은 하류 작업에서 사전 훈련된 Sketch-BERT를 미세조정하는 것.

실험 결과

연구 질문

• RQ1 BERT 스타일의 트랜스포머 모델이 순차적 벡터 데이터에서 일반 목적의 스케치 표현을 효과적으로 학습하는 데 적합한가?
• RQ2 마스킹된 스케치 포인트를 복원하는 스케치 게스트랄트 작업을 통한 자기지도 사전 훈련이 하류 스케치 이해 성능을 향상시키는가?
• RQ3 깊이, 너비, 임베딩 설계와 같은 아키텍처 선택이 스케치 작업에서 Sketch-BERT의 성능에 미치는 영향은 어떠한가?
• RQ4 대규모 스케치 데이터에서의 사전 훈련이 하류 작업의 수렴에 필요한 학습 에포크 수를 줄이는가?
• RQ5 생성적 스케치 재구성 작업에서 Sketch-BERT는 CNN 기반 모델보다 어떻게 비교되는가?

주요 결과

• 스케치 분류 작업에서 Sketch-BERT는 상위 1위 정확도 88.30%와 상위 5위 정확도 97.82%를 기록하며 기준 모델을 초월한다.
• 스케치 검색 작업에서 Sketch-BERT는 상위 1위 정확도 85.47%와 상위 5위 정확도 93.49%를 달성하여 뛰어난 일반화 능력을 보였다.
• QuickDraw에서 7만 개 샘플로 사전 훈련하면 수렴에 필요한 학습 에포크 수가 약 50에서 약 5로 감소하여 훈련 속도가 크게 향상되었다.
• 8층, 12개 어텐션 헤드, 768차원 은닉 크기를 가진 아키텍처(8-12-768)가 성능과 수렴 사이의 최적의 균형을 이룬다.
• 스케치 게스트랄트 작업은 매우 효과적이다: CNN 기반 모델은 아티팩트로 인해 복잡한 스케치를 재구성하지 못하지만, Sketch-BERT는 구조적 및 의미적 패턴을 성공적으로 학습한다.
• 클래스당 학습 샘플 수를 늘리면 상위 1위 정확도가 최대 3%까지 향상되지만, 클래스 수를 늘리면 유의미한 성능 향상이 없다.