[논문 리뷰] Transductive Multi-label Zero-shot Learning

Yanwei Fu, Yongxin Yang외 3명|View|2015. 03. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 8

한 줄 요약

이 논문은 이미지에서 의미어 공간으로의 다중출력 딥 리그레션을 활용하여 다중라벨 제로샷 학습을 위한 첫 번째 프레임워크를 제안한다. 또한 합성 프로토타입을 통해 레이블 상관관계를 활용한다. 전이 학습과 어휘 벡터의 조합성을 결합함으로써 다중라벨 데이터셋에서 최신 기술 수준의 성능을 달성하며, F1, 랭킹 손실, AP 메트릭에서 베이스라인을 능가한다.

ABSTRACT

Zero-shot learning has received increasing interest as a means to alleviate the often prohibitive expense of annotating training data for large scale recognition problems. These methods have achieved great success via learning intermediate semantic representations in the form of attributes and more recently, semantic word vectors. However, they have thus far been constrained to the single-label case, in contrast to the growing popularity and importance of more realistic multi-label data. In this paper, for the first time, we investigate and formalise a general framework for multi-label zero-shot learning, addressing the unique challenge therein: how to exploit multi-label correlation at test time with no training data for those classes? In particular, we propose (1) a multi-output deep regression model to project an image into a semantic word space, which explicitly exploits the correlations in the intermediate semantic layer of word vectors; (2) a novel zero-shot learning algorithm for multi-label data that exploits the unique compositionality property of semantic word vector representations; and (3) a transductive learning strategy to enable the regression model learned from seen classes to generalise well to unseen classes. Our zero-shot learning experiments on a number of standard multi-label datasets demonstrate that our method outperforms a variety of baselines.

연구 동기 및 목표

• 기존 방법이 미지 클래스에 대한 학습 데이터가 없기 때문에 레이블 상관관계를 모델링하지 못하는 다중라벨 제로샷 학습 분야의 연구 부족을 해결한다.
• 미지 클래스에 대한 학습 예제가 존재하지 않는 테스트 시점에서 레이블 동시 발생 상관관계를 모델링하는 과제를 극복한다.
• 어휘 벡터 공간 내의 의미적 조합성을 활용하여 단일라벨에서 다중라벨 인식으로의 제로샷 학습 일반화를 개선하는 방법을 개발한다.
• 자기학습 전이 적응 전략을 통해 이미지-의미 임베딩 모델의 미지 클래스로의 일반화 능력을 향상시킨다.

제안 방법

• 원시 이미지 픽셀을 직접 스킵그램 어휘 벡터로 매핑하는 9층의 다중출력 딥 리그레션(Mul-DR) 모델을 제안하며, 의미 차원 간의 상관관계를 명시적으로 모델링한다.
• 의미어 벡터 공간에서 가능한 모든 레이블 조합(멱집합)을 합성된 가상의 학습 인스턴스로 생성함으로써 레이블 상관관계를 인코딩하는 새로운 제로샷 다중라벨 예측(ZS-MLP) 알고리즘을 제안한다.
• 직접 다중라벨 예측(DMP)과 전이 다중라벨 예측(TraMP)이라는 두 가지 알고리즘을 설계한다. DMP는 의미 공간 내에서 최근접 이웃 분류를 사용하고, TraMP는 미지 테스트 데이터의 만만드 구조를 활용하여 일반화 능력을 향상시킨다.
• 자기학습 전략을 적용하여, 미지 테스트 데이터에 대한 예측을 반복적으로 개선함으로써 Mul-DR 모델을 대상 테스트 분포에 적응시킨다.
• 스킵그램 어휘 벡터를 본래의 클래스와 미지 클래스 간의 공통 의미 공간으로 사용함으로써, 미지 클래스의 시각적 예제 없이도 제로샷 전이가 가능하도록 한다.
• 어휘 벡터의 조합성을 활용하여, 심지어 미지 클래스 조합에 대해서도 타당한 다중라벨 조합을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 미지 클래스에 대한 학습 데이터가 존재하지 않을 때 다중라벨 제로샷 학습에서 레이블 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 의미어 벡터의 조합성을 활용하면 독립적인 단일라벨 예측보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 미지 테스트 데이터의 구조를 활용하는 전이 학습 전략이 제로샷 다중라벨 예측 성능을 향상시킬 수 있는가?
• RQ4 테스트 세트에서의 자기학습이 이미지-의미 임베딩 모델의 미지 클래스로의 일반화 능력을 향상시키는가?

주요 결과

• 제안된 TraMP 알고리즘이 모든 메트릭에서 DMP를 능가하며, 특히 마이크로-F1, 랭킹 손실, 평균 정확도(AP)에서 뚜렷한 향상을 보이며 전이 만만드 학습의 이점을 입증한다.
• 자기학습 전략은 DMP와 TraMP 양자 모두의 성능을 향상시켜 Mul-DR 모델을 테스트 분포에 적응시키는 것이 미지 클래스로의 일반화 능력을 향상시킨다는 점을 확인한다.
• Mul-DR+TraMP는 여러 표준 다중라벨 데이터셋에서 최신 기술 수준의 성능을 달성하며, DeViSE 및 기타 베이스라인 대비 F1, 랭킹 손실, AP에서 승리한다. 유일한 예외는 IAPCTC-12에서의 히민 손실이다.
• DeViSE 베이스라인은 IAPCTC-12에서 F1과 AP 측면에서 과도하게 보수적인 경향(대부분의 인스턴스에 대해 레이블을 예측하지 않음)으로 인해 성능이 열등하여, 명시적 상관관계 모델링의 우수성을 입증한다.
• 레이블 조합의 멱집합을 철저히 합성함으로써 실제 학습 예제 없이도 레이블 동시 발생 패턴을 효과적으로 모델링할 수 있다.
• 어휘 벡터의 조합성질을 활용하여, 레이블 분포가 극도로 불균형하더라도 미지의 다중라벨 조합으로의 일반화를 성공적으로 수행함을 입증한다.