[논문 리뷰] Zero-Shot Learning with Generative Latent Prototype Model

Yanan Li, Donghui Wang|arXiv (Cornell University)|2017. 05. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 18

한 줄 요약

이 논문은 도메인 분포의 격리로 인해 발생하는 도메인 시프트 문제를 완화하기 위해 잠재 프로토타입에서 가상의 미사용 클래스 인스턴스를 합성함으로써 제로샷 학습을 위한 생성 잠재 프로토타입 모델(GLaP)을 제안한다. 확률적 생성을 통해 도메인 시프트를 감소시키며, 공유된 의미 공간에서 프로토타입을 모델링하고 합성 데이터를 생성함으로써 GLaP는 SOTA 성능을 달성하여 AwA에서 83.45%, CUB에서 52.79%의 정확도를 기록한다.

ABSTRACT

Zero-shot learning, which studies the problem of object classification for categories for which we have no training examples, is gaining increasing attention from community. Most existing ZSL methods exploit deterministic transfer learning via an in-between semantic embedding space. In this paper, we try to attack this problem from a generative probabilistic modelling perspective. We assume for any category, the observed representation, e.g. images or texts, is developed from a unique prototype in a latent space, in which the semantic relationship among prototypes is encoded via linear reconstruction. Taking advantage of this assumption, virtual instances of unseen classes can be generated from the corresponding prototype, giving rise to a novel ZSL model which can alleviate the domain shift problem existing in the way of direct transfer learning. Extensive experiments on three benchmark datasets show our proposed model can achieve state-of-the-art results.

연구 동기 및 목표

• 보기와 보지 않은 클래스 간의 데이터 분포가 분리되어 발생하는 도메인 시프트 문제를 해결하기 위해.
• 학습 중에 의미 표현을 활용하여 추론 외적인 일반화 능력을 향상시키기 위해.
• 공유된 잠재 공간에서 생성 확률적 프레임워크를 통해 카테고리 간의 의미 관계를 모델링하기 위해.
• 프로토타입 기반 생성을 통해 보지 않은 클래스의 합성 학습 인스턴스를 생성하여 분류기의 강건성 향상시키기 위해.
• 보완적인 시각적 및 의미적 특징이 제로샷 환경에서 인식 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 각 카테고리가 잠재 공간 내 유일한 프로토타입으로 표현되며, 관측된 특징(이미지, 텍스트)이 이러한 프로토타입에서 생성됨을 가정한다.
• 잠재 프로토타입을 사전 분포를 가진 랜덤 변수로 모델링하여 가상 인스턴스의 스토케스틱 생성을 가능하게 한다.
• 잠재 공간 내 선형 복원을 통해 프로토타입 간의 의미적 관계를 인코딩하여 카테고리 유사도를 유지한다.
• 프로토타입과 의미 특징을 사용하여 보지 않은 클래스의 가상 학습 인스턴스를 생성함으로써 학습 세트를 효과적으로 확장한다.
• 실제로 보인 본래 데이터와 생성된 가상의 보지 않은 인스턴스를 조합하여 분류기를 훈련시켜 제로샷 일반화 능력을 향상시킨다.
• 본래 클래스의 평균 벡터와 생성된 가상 인스턴스를 함께 사용하는 공동 학습 전략을 적용하여 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 잠재 프로토타입의 생성 모델링이 도메인 시프트 문제를 완화함으로써 제로샷 학습 성능 향상에 기여할 수 있는가?
• RQ2 프로토타입 기반의 가상 인스턴스 생성은 보지 않은 카테고리 간의 분류기 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 다양한 모odal(예: 시각적 및 텍스처 특징)을 조합하면 제로샷 학습에서 인식 정확도 향상에 기여하는가?
• RQ4 의미 표현의 질이 생성 기반 ZSL 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 많은 실재 데이터가 필요 없이 소수의 생성된 가상 인스턴스로도 제로샷 정확도를 크게 향상시킬 수 있는가?

주요 결과

• GLaP는 세 가지 벤치마크 데이터셋에서 SOTA 성능을 달성하였으며, 시각적 및 의미적 특징을 모두 사용할 경우 AwA에서 83.45%의 정확도를 기록하였다.
• 모델은 본래 성능을 7% 이상 향상시켰으며, 텍스트 표현만을 사용할 경우 AwA에서 81.29%의 정확도를 달성하였다.
• 생성된 가상 인스턴스만을 사용한 경우(GLaP #1) 강력한 성능을 기록하였으며, AwA에서 81.29%의 정확도를 달성하여 기존 베이스라인을 초월하였다.
• 시각적 및 의미적 특징을 조합한 경우(A+W)가 가장 높은 성능을 기록하였으며, CUB에서 단일 모달 사용 대비 25% 향상된 성능을 기록하였다.
• 본래 클래스의 평균 벡터와 생성된 인스턴스를 함께 사용하는 공동 훈련 전략(GLaP #3)은 전체 데이터 훈련 성능과 동등하거나 이를 초월하는 성능을 기록하였다.
• 소수의 생성된 인스턴스로도 성능이 유지되어, 제안된 방법의 높은 데이터 효율성을 입증하였다.