[논문 리뷰] Multi-Label Zero-Shot Learning via Concept Embedding

Ubai Sandouk, Ke Chen|arXiv (Cornell University)|2016. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 15

한 줄 요약

이 논문은 공공 사용자들이 제공한 다중미디어 주석에서 유도된 개념 임베딩을 사용하는 다중 레이블 제로샷 학습 프레임워크를 제안한다. 입력 특징을 공유된 개념 임베딩 공간으로 매핑함으로써, 본 모델은 학습된 레이블뿐 아니라 미학습 레이블까지 분류할 수 있으며, 재학습 없이도 어휘 외 레이블을 처리할 수 있다. 이는 이미지 및 음악 트랙 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Zero Shot Learning (ZSL) enables a learning model to classify instances of an unseen class during training. While most research in ZSL focuses on single-label classification, few studies have been done in multi-label ZSL, where an instance is associated with a set of labels simultaneously, due to the difficulty in modeling complex semantics conveyed by a set of labels. In this paper, we propose a novel approach to multi-label ZSL via concept embedding learned from collections of public users' annotations of multimedia. Thanks to concept embedding, multi-label ZSL can be done by efficiently mapping an instance input features onto the concept embedding space in a similar manner used in single-label ZSL. Moreover, our semantic learning model is capable of embedding an out-of-vocabulary label by inferring its meaning from its co-occurring labels. Thus, our approach allows both seen and unseen labels during the concept embedding learning to be used in the aforementioned instance mapping, which makes multi-label ZSL more flexible and suitable for real applications. Experimental results of multi-label ZSL on images and music tracks suggest that our approach outperforms a state-of-the-art multi-label ZSL model and can deal with a scenario involving out-of-vocabulary labels without re-training the semantics learning model.

연구 동기 및 목표

• 다중 레이블 제로샷 학습의 과제를 해결하기 위해, 동시에 여러 레이블이 연결된 인스턴스를 다루는 것.
• 제로샷 환경에서 다중 레이블 간의 복잡한 의미 관계를 모델링하는 데 어려움을 극복하는 것.
• 의미 모델을 재학습 없이도 새로운 레이블과 어휘 외 레이블을 효과적으로 분류할 수 있도록 하는 것.
• 다중 레이블 예측을 위한 강력하고 이식 가능한 개념 임베딩을 학습하기 위해 공개된 사용자 주석을 활용하는 것.
• 단일 레이블 제로샷 학습과 유사하게 다중 레이블 ZSL를 다루는 통합 프레임워크를 개발하는 것.

제안 방법

• 다양한 미디어 데이터에 대한 공공 사용자 주석 컬렉션에서 개념 임베딩을 학습하여 개념 간 의미 관계를 포착하는 것.
• 단일 레이블 ZSL와 유사하게 입력 인스턴스 특징을 개념 임베딩 공간으로 매핑하기 위한 투영 함수를 사용하는 것.
• 사용자 주석 내 레이블의 동시 발생 패턴을 활용해 추론 과정에서 어휘 외 레이블의 의미를 유추하는 것.
• 학습된 레이블에 대해 의미 모델을 훈련하고, 임베딩 보간을 통해 새로운 레이블로의 일반화 능력을 확장하는 것.
• 각 인스턴스에 대해 다중 레이블을 예측하기 위해 개념 임베딩 공간에서 최근접 이웃 또는 점수 기반 분류를 적용하는 것.
• 공유된 임베딩 공간을 통한 본래 레이블과 새로운 레이블 간의 의미 유사도를 활용하여 제로샷 일반화를 보장하는 것.

실험 결과

연구 질문

• RQ1 사용자 생성 주석에서 유도된 개념 임베딩이 다중 레이블 제로샷 학습에 효과적으로 기여할 수 있는가?
• RQ2 학습 중에 존재하지 않은 레이블로의 일반화 능력이 얼마나 우수한가?
• RQ3 재학습이나 미세조정 없이도 어휘 외 레이블을 효과적으로 처리할 수 있는가?
• RQ4 제안된 방법이 기존 최신 기술 수준의 모델보다 우수한 성능을 보일 수 있는가?
• RQ5 희귀 또는 미학습 레이블의 의미를 유추하기 위해 레이블 동시 발생 패턴을 사용하는 것이 얼마나 효과적인가?

주요 결과

• 제안된 방법은 이미지 및 음악 트랙 데이터셋 양쪽에서 최신 기술 수준의 다중 레이블 ZSL 모델을 능가한다.
• 공개된 개념 임베딩 공간 내 의미 유사도를 활용하여, 새로운 레이블을 가진 인스턴스를 성공적으로 분류한다.
• 공동 발생 기반 추론 덕분에 의미 모델을 재학습 없이도 어휘 외 레이블을 효과적으로 처리할 수 있다.
• 공개된 사용자 주석을 활용함으로써, 최소한의 감독 하에 강력하고 확장 가능한 개념 임베딩 학습이 가능해진다.
• 이 프레임워크는 시각적 및 청각 입력을 포함한 다양한 데이터 모odal리티에서 뛰어난 성능을 유지한다.
• 실증 결과는 개념 임베딩이 제로샷 환경에서 효율적이고 정확한 다중 레이블 예측을 가능하게 한다는 것을 확인한다.