[논문 리뷰] SketchEmbedNet: Learning Novel Concepts by Imitating Drawings

Alexander Wang, Mengye Ren외 1명|arXiv (Cornell University)|2020. 08. 27.

Multimodal Machine Learning Applications참고 문헌 53인용 수 4

한 줄 요약

SketchEmbedNet는 이미지의 순차적 스케치를 생성하도록 훈련하는 신경망을 통해 이미지 표현을 학습하는 클래스 무관형, 인코더-디코더 모델을 제안한다. 인간의 스케치를 모방함으로써 모델는 구조적이고 구성적인 임베딩을 생성하며, 이는 훈련 중 클래스 레이블 없이도 새로운 클래스와 데이터셋에서 강력한 소수의 샘플 분류 성능을 달성할 수 있도록 한다.

ABSTRACT

Sketch drawings capture the salient information of visual concepts. Previous work has shown that neural networks are capable of producing sketches of natural objects drawn from a small number of classes. While earlier approaches focus on generation quality or retrieval, we explore properties of image representations learned by training a model to produce sketches of images. We show that this generative, class-agnostic model produces informative embeddings of images from novel examples, classes, and even novel datasets in a few-shot setting. Additionally, we find that these learned representations exhibit interesting structure and compositionality.

연구 동기 및 목표

• 이미지의 스케치를 생성하도록 훈련하는 모델을 통해 주목할 만한 시각적 특징을 포착하는 표현 학습 방법을 개발한다.
• 클래스 레이블 없이 이미지에서 스케치 생성에만 훈련된 클래스 무관형 모델을 통해 새로운 클래스와 데이터셋에 대한 소수의 샘플 일반화를 가능하게 한다.
• 스케치 기반 생성이 픽셀 기반 생성보다 더 구조적이고 구성적이며 정보적인 이미지 임베딩을 유도하는지 조사한다.
• 스케치 표현에 대한 벡터 산술 연산을 통해 학습된 임베딩의 구성적 성질을 평가한다.

제안 방법

• 자연 이미지에서 잠재적인 SketchEmbedding 벡터를 생성하기 위해 픽셀 기반 이미지 인코더를 사용한다.
• SketchRNN 기반의 순차적 자동회귀 디코더를 활용하여 잠재 임베딩에서 스케치를 나타내는 펜 트레이스 시퀀스를 생성한다.
• 기본 진짜 스케치 시퀀스와 생성된 시퀀스 간의 차이를 최소화하는 재구성 기반 목표로 모델을 종합적으로 훈련한다.
• QuickDraw 및 ImageNet 등의 다양한 이미지 클래스를 포함한 광범위한 데이터셋을 활용하여 일반적인, 클래스 무관형 표현을 학습한다.
• 표현 품질 향상을 위해 대비 및 자기지도 학습 목표를 적용한다.
• 학습된 임베딩를 사용하여 Omniglot과 mini-ImageNet에서의 제로샷 및 소수의 샘플 분류를 통해 최종 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이미지의 스케치를 생성하도록 훈련된 생성 모델이 클래스 레이블 없이도 정보적인, 일반화 가능한 이미지 표현을 학습할 수 있는가?
• RQ2 SketchEmbedNet 모델은 소수의 샘플 설정에서 새로운 클래스와 데이터셋으로 얼마나 잘 일반화되는가?
• RQ3 학습된 SketchEmbeddings는 구성적이고 공간적 구조를 가지는가? 이는 개념을 조작하기 위해 벡터 산술 연산을 가능하게 하는가?
• RQ4 표현 학습에서 픽셀 기반 생성과 비교해 스케치 기반 표현 학습은 최종 분류 성능 측면에서 어떻게 다른가?
• RQ5 특히 복잡하거나 추상적인 개념에 대해서도 생성된 스케치가 의미와 형태의 구조를 얼마나 잘 유지하는가?

주요 결과

• SketchEmbedNet는 클래스 레이블 없이도 스케치 기반 표현 학습만으로 Omniglot 소수의 샘플 분류 벤치마크에서 97.66%의 정확도를 달성하여 기준 모델을 능가한다.
• mini-ImageNet 벤치마크에서 SketchEmbedNet는 훈련된 클래스에 대해 81.44%의 정확도를 기록하고, 새로운 클래스에 대해서는 77.94%의 정확도를 기록하여 강력한 제로샷 일반화 성능을 보였다.
• 모델은 훈련 중에 볼 수 없었던 새로운 데이터셋, 예를 들어 QuickDraw와 Omniglot과 같은 새로운 도메인에서도 높은 성능을 보이며, 훈련된 클래스와 새로운 클래스 모두에서 잘 일반화된다.
• SketchEmbedNet의 임베딩는 개념 조합을 지원한다: 임베딩 간의 벡터 산술 연산(예: 덧셈과 뺄셈)을 통해 새로운 형태를 생성하거나 개념을 수정하는 등 의미 있는 시각적 결과를 도출할 수 있다.
• 정성적 분석 결과, 특히 글자나 명확한 구성 수준의 구조를 가진 물체에 대해 픽셀 기반 생성 방법보다 생성된 스케치가 형태와 구조적 세부 사항을 더 잘 유지하는 것으로 나타났다.
• 분류 정확도와 스케치 인식 가능성 측면에서 SketchEmbedNet는 Conv-VAE 기준 모델을 모두 능가하여, 스케치 기반 생성이 픽셀 기반 생성만으로는 달성할 수 없는 더 의미 있는 표현을 이끌어낸다는 것을 시사한다.