[논문 리뷰] Recent Advances in Zero-shot Recognition

Yanwei Fu, Tao Xiang외 4명|arXiv (Cornell University)|2017. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 143인용 수 41

한 줄 요약

이 논문은 라벨이 없는 훈련 예제 없이도 알려지지 않은 객체 카테고리의 인식을 가능하게 하는, 의미적 표현(예: 속성 및 워드 벡터)을 활용하는 제로샷 인식 기법에 대한 종합적인 리뷰를 제공한다. 모델, 데이터셋, 평가 프로토콜, 그리고 일장샷 및 오픈세트 인식과 같은 관련 작업을 조사하며, 한계점을 밝히고 향후 방향으로 일반화된 제로샷 러닝, 소수 샘플 학습과의 통합, 커리큘럼 학습 등을 제안한다.

ABSTRACT

With the recent renaissance of deep convolution neural networks, encouraging breakthroughs have been achieved on the supervised recognition tasks, where each class has sufficient training data and fully annotated training data. However, to scale the recognition to a large number of classes with few or now training samples for each class remains an unsolved problem. One approach to scaling up the recognition is to develop models capable of recognizing unseen categories without any training instances, or zero-shot recognition/ learning. This article provides a comprehensive review of existing zero-shot recognition techniques covering various aspects ranging from representations of models, and from datasets and evaluation settings. We also overview related recognition tasks including one-shot and open set recognition which can be used as natural extensions of zero-shot recognition when limited number of class samples become available or when zero-shot recognition is implemented in a real-world setting. Importantly, we highlight the limitations of existing approaches and point out future research directions in this existing new research area.

연구 동기 및 목표

• 라벨이 없는 훈련 데이터 없이도 새로운 시각적 카테고리를 인식하는 데 도전하는 것 — 이는 대규모이고 개방형 분류에 대해 감독 학습 기반 인식을 확장하는 데 있어 핵심적인 제약이다.
• 보이는 클래스에서 보이지 않는 클래스로 지식을 전이할 수 있도록 해주는 의미적 표현(예: 속성, 워드 벡터 등)을 조사하고 비교하는 것.
• 현재 제로샷 인식 방법의 한계를 검토하고, 더 현실적인 일반화된 평가 및 학습 설정을 제안하는 것.
• 제로샷 인식을 소수 샘플 학습 및 오픈세트 인식과 통합하여 실제 환경에 구현 가능한 자연스러운 확장으로서 탐색하는 것.
• 향후 연구 방향을 식별하고 주장하는 것 — 예를 들어 커리큘럼 학습 및 객체 카테고리 외의 속성 기반 인식

제안 방법

• 공통된 임베딩 공간 내에서 클래스 수준의 지식을 인코딩하기 위해 의미적 속성과 사전 학습된 워드 벡터(GloVe 등)와 같은 의미적 표현을 활용한다.
• 시각적 특징을 의미 공간으로 매핑하기 위해 임베딩 모델을 사용하며, 이로써 테스트 샘플과 클래스 프로토타입 간의 유사도 기반 분류가 가능해진다.
• 학습된 클래스에 대해 훈련된 투영 함수를 사용해 알려지지 않은 클래스 프로토타입을 동일한 의미-시각 임베딩 공간으로 매핑한다.
• 공통된 임베딩 공간에서 코사인 유사도 또는 기타 거리 측정법을 사용해, 테스트 인스턴스를 클래스 프로토타입에 가장 가까운 것으로 분류한다.
• Xian 등이 제안한 바와 같은 표준화된 프로토콜을 적용하여 기존 연구들 간의 공정한 비교를 보장한다.
• 일반화된 제로샷 러닝, 오픈세트 인식, 일장샷 러닝으로 분석을 확장하여, 테스트 데이터가 알려진 클래스, 알려지지 않은 클래스, 또는 알려지지 않은 클래스에 속할 수 있는 시나리오를 모델링한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 인식 모델이 어떤 훈련 예제도 없이도 새로운 카테고리로 일반화할 수 있는가?
• RQ2 제로샷 일반화에 있어 가장 효과적인 의미적 표현 유형은 무엇인가? (예: 속성, 워드 벡터 등)
• RQ3 제로샷 인식은 소수 샘플 또는 오픈세트 인식을 포함하는 더 현실적인 설정으로 어떻게 확장될 수 있는가?
• RQ4 현재 제로샷 인식의 평가 프로토콜과 데이터셋에서 가장 핵심적인 한계는 무엇인가?
• RQ5 제로샷 러닝은 어떻게 소수 샘플 러닝과 통합되어 모델의 강건성과 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 워드 벡터(GloVe 등)와 속성과 같은 의미적 표현은 보이는 클래스와 보이지 않는 클래스 간에 공통된, 보편적인 지식을 제공하므로 제로샷 인식을 가능하게 하는 데 핵심적이다.
• Xian 등이 제안한 바와 같은 표준화된 평가 프로토콜은 제로샷 인식 기법의 공정하고 재현 가능한 벤치마킹을 위해 필수적이다.
• 기존의 제로샷 러닝 방법은 알려지지 않은 클래스가 사전에 알려져 있다고 가정하는 경향이 있는데, 이는 현실적이지 않다. 향후 연구는 알려지지 않은 새로운 카테고리가 포함된 점진적이고 개방형 학습을 다뤄야 한다.
• 소수 샘플 학습 프레임워크에 클래스 프로토타입을 '슈퍼샷'으로 통합하면 성능 향상에 상당한 기여를 할 수 있다. 프로토타입은 단일 샘플보다 더 많은 지식을 담고 있기 때문이다.
• 현재 모델들은 간단한 객체 카테고리 외의 복잡한 시각적 개념, 예를 들어 다양한 맥락에서의 속성('노란색' 등)을 다루는 데 어려움을 겪고 있어, 더 세밀한 의미 모델링이 필요하다는 것을 시사한다.
• 커리큘럼 학습 — 클래스 학습 순서를 체계적으로 정렬하는 것 — 은 모델 성능에 측정 가능한 영향을 미치며, 이는 장기적 학습 시스템에서 학습 순서를 전략적으로 설계해야 한다는 것을 시사한다.