[논문 리뷰] Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning

Ziad Al-Halah, Makarand Tapaswi외 1명|arXiv (Cornell University)|2016. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 22

한 줄 요약

이 논문은 비감독적 제로샷 학습을 위한 새로운 방법인 CAAP을 제안한다. CAAP은 별도의 수동 주석 없이도 알려지지 않은 클래스의 이름만으로 클래스-속성 연관성을 자동으로 예측한다. 공유된 임bedding 공간에서 의미 관계를 학습함으로써 CAAP은 수동 감독 없이 속성을 예측하며, AwA 및 aPascal/aYahoo 데이터셋에서 최신 기술을 초월하는 성능을 달성한다. 특히 aPascal/aYahoo에서 이전 방법보다 18% 이상 향상된 성능을 기록한다.

ABSTRACT

Collecting training images for all visual categories is not only expensive but also impractical. Zero-shot learning (ZSL), especially using attributes, offers a pragmatic solution to this problem. However, at test time most attribute-based methods require a full description of attribute associations for each unseen class. Providing these associations is time consuming and often requires domain specific knowledge. In this work, we aim to carry out attribute-based zero-shot classification in an unsupervised manner. We propose an approach to learn relations that couples class embeddings with their corresponding attributes. Given only the name of an unseen class, the learned relationship model is used to automatically predict the class-attribute associations. Furthermore, our model facilitates transferring attributes across data sets without additional effort. Integrating knowledge from multiple sources results in a significant additional improvement in performance. We evaluate on two public data sets: Animals with Attributes and aPascal/aYahoo. Our approach outperforms state-of-the-art methods in both predicting class-attribute associations and unsupervised ZSL by a large margin.

연구 동기 및 목표

• 제로샷 학습에서 클래스-속성 연관성에 대한 수동 주석이 필요 없도록 하는 것.
• 클래스 이름만을 사용하여 알려지지 않은 클래스의 속성을 자동으로 예측할 수 있도록 하는 것.
• 추가적인 레이블 없이도 데이터셋 간 시각적 속성 전이를 가능하게 하는 것.
• 다양한 의미 관계를 공동으로 모델링하여 제로샷 분류 성능을 향상시키는 것.
• 사용자 간섭을 최소화하기 위해 클래스 이름과 사전 학습된 단어 임베딩에만 의존하는 것.

제안 방법

• 모델은 다중 관계 링크 예측 프레임워크를 사용하여 공유된 임베딩 공간에서 클래스-속성 연관성을 의미 관계로 모델링한다.
• 클래스와 속성 이름을 벡터로 표현하기 위해 사전 학습된 단어 임베딩(GloVe 또는 Word2Vec 등)을 활용한다.
• 임베딩 공간에서의 내적곱을 통해 관계(예: 'has_color')의 가능성도를 계산하는 미분 가능한 스코어링 함수를 사용한다.
• 관계 예측을 최적화하기 위해 음성 샘플링과 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 속성 기반 관계와 계층적 관계(예: 'has_ancestor')를 포함한 다중 관계의 공동 학습을 지원한다.
• 학습된 관계와 임베딩을 재사용함으로써 데이터셋 간 제로샷 속성 전이를 가능하게 하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 수동 속성 주석이 필요 없이 알려지지 않은 클래스의 클래스-속성 연관성을 예측할 수 있는가?
• RQ2 한 데이터셋에서 훈련된 모델이 추가 작업 없이 다른 데이터셋의 클래스에 대한 속성을 예측할 수 있는가?
• RQ3 다양한 의미 관계(예: 속성과 계층성)를 공동으로 모델링하면 제로샷 분류 성능이 향상되는가?
• RQ4 제안된 방법의 성능는 최신 비감독적 ZSL 접근법보다 어떻게 비교되는가?
• RQ5 클래스 이름만으로 계층적 관계(예: 조상)를 자동으로 추론할 수 있는가?

주요 결과

• CAAP는 AwA 데이터셋에서 68.6%의 제로샷 학습 정확도를 달성하여 이전 최고 기록보다 8.5% 향상되었다.
• aPascal/aYahoo 데이터셋에서 CAAP는 49.0%의 정확도를 기록했으며, 다음으로 좋은 방법보다 18.8% 높은 성능을 보였다.
• 모델은 'jetski'나 'carriage'와 같은 동물 외 카테고리의 알려지지 않은 클래스에 대해서도 높은 정확도로 속성 연관성을 예측한다.
• 데이터셋 간 속성 전이로 설명어 어휘가 확대되어 더 구분력 있는 분류기가 만들어지며, 이로 인해 성능 향상이 이루어진다.
• 계층적 조상 관계 예측에서 mAP가 89.8%를 기록하여 의미 계층에 대한 강력한 일반화 능력을 입증했다.
• 속성 관계와 계층 관계를 공동으로 학습함으로써 속성 예측 성능 향상이 이루어졌으며, 'has_pattern'의 경우 최대 2.5% 향상되고 'feeding_type'의 경우 최대 2.1% 향상되었다.