[논문 리뷰] Synthesized Classifiers for Zero-Shot Learning

Soravit Changpinyo, Wei‐Lun Chao외 2명|arXiv (Cornell University)|2016. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 57

한 줄 요약

이 논문은 '유령' 클래스를 공유 기반으로 삼아 의미 공간과 모델 공간을 유연하게 정렬하는 다양체 학습 기반 접근법을 제안한다. 실제 분류기의 볼록 조합을 가능하게 하기 위해 이러한 유령 클래스를 최적화함으로써, ImageNet(20,000개 이상의 미사용 클래스 포함)을 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Given semantic descriptions of object classes, zero-shot learning aims to accurately recognize objects of the unseen classes, from which no examples are available at the training stage, by associating them to the seen classes, from which labeled examples are provided. We propose to tackle this problem from the perspective of manifold learning. Our main idea is to align the semantic space that is derived from external information to the model space that concerns itself with recognizing visual features. To this end, we introduce a set of "phantom" object classes whose coordinates live in both the semantic space and the model space. Serving as bases in a dictionary, they can be optimized from labeled data such that the synthesized real object classifiers achieve optimal discriminative performance. We demonstrate superior accuracy of our approach over the state of the art on four benchmark datasets for zero-shot learning, including the full ImageNet Fall 2011 dataset with more than 20,000 unseen classes.

연구 동기 및 목표

• 라벨이 없는 훈련 예제 없이도 미사용 객체 클래스를 인식하는 데 도전한다.
• 기존 방법이 의미 임베딩과 시각적 모델 공간을 효과적으로 정렬하지 못하는 한계를 극복한다.
• 의미 공간과 시각적 모델 공간 간의 공유 표현을 학습하여 제로샷 인식 성능을 향상시킨다.
• ImageNet처럼 수만 개의 미사용 클래스를 포함한 대규모 데이터셋으로의 일반화를 가능하게 한다.
• 최적화된 유령 기반에서 실제 분류기를 합성하여 분류 성능을 향상시키는 방법을 개발한다.

제안 방법

• 의미 공간과 모델 공간 좌표를 함께 최적화하는 '유령' 객체 클래스를 도입한다.
• 의미 공간과 시각적 모델 공간을 가중치가 부여된 그래프로 모델링하며, 클래스 간 유사도는 간선 가중치에 코딩한다.
• 다양체 학습(예: 라플라시안 고유사상)을 사용해 의미 공간의 정점들을 모델 공간으로 투영하여 클래스 간 관계를 유지한다.
• 실제 객체 분류기를 유령 클래스 분류기의 볼록 조합으로 표현함으로써, 미사용 클래스 모델의 합성을 가능하게 한다.
• 라벨이 있는 본래의 클래스 데이터를 사용해 유령 클래스의 좌표를 최적화하여, 미사용 클래스에 대한 분류 정확도를 극대화한다.
• 깊이 있는 특징을 활용해 의미 정렬을 향상시키고 얕은 특징 대비 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 의미 공간과 시각적 모델 공간을 효과적으로 정렬하여 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 유령 클래스가 미사용 클래스를 위한 고성능 분류기를 합성하는 데 있어 공유 기반으로 기능할 수 있는가?
• RQ3 깊이 있는 특징과 얕은 특징을 사용할 경우 분류기 합성 성능에 어떤 영향을 미치는가?
• RQ4 특히 세분화된 데이터셋에서 강력한 성능을 달성하기 위해 필요한 유령(기반) 분류기의 수는 얼마나 되는가?
• RQ5 의미적으로 유사한 본래 클래스와 비슷한 의미적 유사성에도 불구하고 일부 미사용 클래스 이미지가 올바르게 분류되지 않는 이유는 무엇인가?

주요 결과

• 제안된 방법은 ImageNet Fall 2011(20,000개 이상의 미사용 클래스 포함)을 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 제로샷 인식 정확도를 달성한다.
• CUB 데이터셋에서는 본래 클래스 수의 60%만 유령 기반으로 사용해도 뛰어난 성능을 기록하여 높은 데이터 효율성을 보여준다.
• 깊이 있는 특징 사용이 얕은 특징 사용보다 유의미하게 뛰어나며, 더 나은 의미 정렬과 낮은 차원성 덕분으로 해석된다.
• 실패 사례는 의미적으로 유사한 본래 클래스와의 시각적 유사성 부족으로 인해 발생하며, 의미적 유사성에도 불구하고 발생한다.
• 세분화된 인식 작업에서 높은 클래스 상관관계 덕분에 적은 수의 유령 기반으로도 효과적인 분류기 합성을 가능하게 하여 강건성을 입증한다.
• PCA 분석 결과, CUB는 AwA보다 분류기 분산을 더 적은 주성분으로 포괄할 수 있음을 보여주며, CUB에서 더 적은 기반 수로도 뛰어난 성능을 달성할 수 있음을 설명한다.