[논문 리뷰] Zero-Shot Learning by Convex Combination of Semantic Embeddings

Mohammad Norouzi, Tomáš Mikolov외 6명|arXiv (Cornell University)|2013. 12. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 781

한 줄 요약

이 논문은 이미지를 기존의 n-way 이미지 분류기에서의 소프트맥스 확률을 사용하여 사전에 훈련된 단어 임베딩을 볼록 조합하는 방식으로 의미 임베딩 공간으로 매핑하는 간단하면서도 효과적인 방법인 Convex Combination of Semantic Embeddings (ConSE)를 제안한다. 이 방법은 추가 훈련 없이도 1,600개의 미사전 학습된 객체 카테고리에서 ImageNet에서 SOTA 수준의 제로샷 학습 성능을 달성하며, hit@1이 9.4%이고 hit@5가 24.7%이다.

ABSTRACT

Several recent publications have proposed methods for mapping images into continuous semantic embedding spaces. In some cases the embedding space is trained jointly with the image transformation. In other cases the semantic embedding space is established by an independent natural language processing task, and then the image transformation into that space is learned in a second stage. Proponents of these image embedding systems have stressed their advantages over the traditional way{} classification framing of image understanding, particularly in terms of the promise for zero-shot learning -- the ability to correctly annotate images of previously unseen object categories. In this paper, we propose a simple method for constructing an image embedding system from any existing way{} image classifier and a semantic word embedding model, which contains the $ $ class labels in its vocabulary. Our method maps images into the semantic embedding space via convex combination of the class label embedding vectors, and requires no additional training. We show that this simple and direct method confers many of the advantages associated with more complex image embedding schemes, and indeed outperforms state of the art methods on the ImageNet zero-shot learning task.

연구 동기 및 목표

• 재훈련 없이도 기존의 n-way 이미지 분류기를 의미 임베딩 모델로 변환함으로써 제로샷 학습을 가능하게 하기 위해.
• 기존의 단어 임베딩과 이미지 분류기 출력을 활용하여 의미 공간에서 연속적인 이미지 표현을 구성하기 위해.
• 더 복잡한 공동 훈련 방법에 비해 단순하고 직접적인 방법이 제로샷 이미지 인식에서 더 우수한 성능을 낼 수 있는지 평가하기 위해.
• 신뢰도와 의미적 유사도가 임베딩 크기와 일반화 능력에 미치는 영향을 탐색하기 위해.

제안 방법

• 기존에 훈련된 이미지 분류기의 소프트맥스 확률 출력을, 해당 클래스 레이블의 단어 임베딩에 대한 가중치로 사용한다.
• 각 이미지는 n개의 클래스 레이블의 의미 벡터들의 가중합으로 표현되며, 가중치는 예측된 클래스 확률이다.
• 다중 동의어 레이블(예: ImageNet의 시냅셋)의 경우, 모든 동의어의 단어 벡터를 평균화한 후 분류기 점수와 조합한다.
• 추론 과정에서, 이미지 임베딩과의 코사인 유사도 기반으로 모든 개별 단어 벡터를 정렬하여 상위-k 예측 레이블을 추출한다.
• 이 방법은 상대적 클래스 점수를 출력하는 임의의 이미지 분류기와 의미적으로 유사한 개념이 벡터 공간에서 가까이 위치하는 임의의 의미 단어 임베딩 모델과 호환된다.
• 이 방법은 결과 임베딩의 L2 노름을 통해 모델의 신뢰도를 자연스럽게 인코딩한다. 이는 모호하거나 의미적으로 다양성이 있는 예측일수록 더 낮은 L2 노름을 가진다.

실험 결과

연구 질문

• RQ1 분류기 점수를 사용한 단어 임베딩의 단순한 볼록 조합이 효과적인 제로샷 학습을 가능하게 할 수 있는가?
• RQ2 이 방법이 제로샷 이미지 인식에서 더 복잡한 공동 훈련 방법보다 우수한 성능을 낼 수 있는가?
• RQ3 임베딩 크기에서 인코딩된 모델의 신뢰도가 예측의 모호성 또는 의미적 다양성과 어떻게 관련이 있는가?
• RQ4 어떤 단어 임베딩 코퍼스를 선택하느냐가 제로샷 일반화 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• ConSE는 1,600개의 미사전 학습된 ImageNet 카테고리에서 hit@1이 9.4%이고 hit@5가 24.7%를 기록하며, 동일한 제로샷 벤치마크에서 최근 SOTA 방법인 DeViSE를 초월한다.
• 원래의 1,000개 클래스 ImageNet 작업에서도 경쟁적인 성능을 달성하였으며, ConSE(1)은 소프트맥스 베이스라인과 동일한 55.6%의 hit@1 성능을 기록했고, 동시에 제로샷 일반화도 가능하다.
• 모델의 임베딩 크기(노름)는 예측의 신뢰도를 암묵적으로 반영한다: L2 노름이 낮은 임베딩은 불확실하거나 의미적으로 다양한 예측을 의미한다.
• ConSE(1) 모델의 hit@1 점수는 소프트맥스 베이스라인과 약간의 차이가 있다(55.1% 대 55.6%)—이는 동의어 단어 벡터를 처리하는 방식이 비균일하기 때문이지만, 입력 점수는 동일하다.
• 학습된 클래스로부터의 거리가 증가할수록 성능 저하가 발생하지만, 이러한 조건에서도 기존 방법보다 뛰어난 강건성과 성능 유지를 보였다.
• 이 방법은 시각적 모델과 텍스트 모델의 선택에 대해 강건하며, 상대적 클래스 점수와 의미 공간에서 유사한 개념이 가까이 위치하는 조건만 충족하면 된다.