[논문 리뷰] Zero-Shot Learning Through Cross-Modal Transfer

Richard Socher, Milind Ganjoo외 4명|arXiv (Cornell University)|2013. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 805

한 줄 요약

이 논문은 볼 수 있는 클래스에 대한 학습 데이터 없이도, 볼 수 없는 클래스의 객체 카테고리까지 분류할 수 있는 제로샷 학습 모델을 제안한다. 이 모델은 비지도 학습된 단어 벡터와 시각적 특징 임베딩을 활용하여, 텍스트에서 학습된 의미 공간으로 이미지를 매핑하고, 이상치 탐지 기법을 사용해 기존 클래스와 볼 수 없는 클래스를 구분한다. 이로 인해 기존 클래스에서는 최상위 성능(최대 80% 정확도)을 달성하고, 볼 수 없는 클래스에 대해서도 합리적인 성능(30–15% 정확도)을 기록한다. 수동으로 정의된 특성 없이도 성능을 달성한다.

ABSTRACT

This work introduces a model that can recognize objects in images even if no training data is available for the objects. The only necessary knowledge about the unseen categories comes from unsupervised large text corpora. In our zero-shot framework distributional information in language can be seen as spanning a semantic basis for understanding what objects look like. Most previous zero-shot learning models can only differentiate between unseen classes. In contrast, our model can both obtain state of the art performance on classes that have thousands of training images and obtain reasonable performance on unseen classes. This is achieved by first using outlier detection in the semantic space and then two separate recognition models. Furthermore, our model does not require any manually defined semantic features for either words or images.

연구 동기 및 목표

• 볼 수 없는 클래스에 대한 학습 이미지가 전혀 없이도 시각적 객체의 제로샷 인식을 가능하게 한다.
• 대규모 텍스트 코퍼스에서 유도된 비지도 학습된 단어 벡터를 활용해 시각적 및 의미적 모odal 간의 다리를 놓는다.
• 기존 클래스와 볼 수 없는 클래스의 분류를 하나의 확률적 프레임워크 안에서 통합한다.
• 제로샷 학습에서 수동으로 정의된 시각적 또는 의미적 특성의 필요성을 제거한다.

제안 방법

• 이미지는 이미지 특징에 대해 훈련된 딥 네ural 네트워크를 통해 저차원의 의미 공간으로 임베딩된다.
• 대규모 비지도 텍스트 코퍼스에서 학습된 단어 벡터는 의미 유사도를 표현한다.
• 기존 클래스의 특징 분포는 등방성 가우시안의 혼합 모델로 모델링된다.
• 의미 공간에서의 경계 확률 임계값을 통한 이상치 탐지 기법을 통해 테스트 이미지가 기존 클래스인지 볼 수 없는 클래스인지 판단한다.
• 기존 클래스의 경우, 원본 이미지 특징에 대해 소프트맥스 분류기가 적용된다.
• 볼 수 없는 클래스의 경우, 의미 단어 벡터를 중심으로 한 가우시안 가능도를 사용해 분류가 수행된다.

실험 결과

연구 질문

• RQ1 모델이 제로샷 학습에서 기존 클래스에 대해 높은 정확도를 달성하면서도 볼 수 없는 클래스에 대해서도 합리적인 성능을 내는가?
• RQ2 비지도 학습된 단어 벡터 표현이 제로샷 시각 인식을 위한 다중모달 전이에 얼마나 효과적인가?
• RQ3 의미 공간에서의 이상치 탐지가 알려진 시각적 카테고리와 알려지지 않은 카테고리 간에 신뢰성 있게 분리할 수 있는가?
• RQ4 수동으로 특성 엔지니어링을 하지 않을 경우, 제로샷 학습에서 성능에 어떤 영향을 미치는가?
• RQ5 이상치 탐지의 임계값이 다르게 설정되었을 때 모델의 성능는 어떻게 변하는가?

주요 결과

• 최적의 이상치 탐지 임계값을 사용할 경우, 기존 클래스에서 최대 80%의 정확도를 달성한다.
• 볼 수 없는 클래스에서는 분류 정확도가 30%에서 15% 사이로 나타나 무작위 추측(10%)보다 훨씬 높다.
• 제로샷 클래스가 기존 클래스와 의미적·시각적으로 유사할 경우(예: 고양이와 트럭), 효과적인 전이가 이루어져 성능이 가장 높아진다.
• 제로샷 클래스가 기존 클래스와 의미적·시각적으로 다를 경우(예: 고양이와 개), 성능은 무작위 수준에 가까워진다.
• 제로샷 클래스 간의 분류 정확도는 최대 90%에 이르며, 이는 강력한 제로샷 분류 능력을 보여준다.