[논문 리뷰] A Meta-Learning Framework for Generalized Zero-Shot Learning

Vinay Kumar Verma, Dhanajit Brahma외 1명|arXiv (Cornell University)|2019. 09. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 12

한 줄 요약

이 논문은 별개의 본문/비본문 클래스 작업에서 학습함으로써 소수 샘플, 제로샷, 일반화 제로샷 학습을 동시에 최적화하는 메타학습 기반 조건부 워셔스타인 GAN 프레임워크를 제안한다. 본문 클래스당 5~10개의 샘플만으로도 aPY에서 27.9%의 상대적 향상과 CUB, AWA1, AWA2에서 뚜렷한 성능 향상을 달성하며, 최신 기술 수준을 초월한다.

ABSTRACT

Learning to classify unseen class samples at test time is popularly referred to as zero-shot learning (ZSL). If test samples can be from training (seen) as well as unseen classes, it is a more challenging problem due to the existence of strong bias towards seen classes. This problem is generally known as \emph{generalized} zero-shot learning (GZSL). Thanks to the recent advances in generative models such as VAEs and GANs, sample synthesis based approaches have gained considerable attention for solving this problem. These approaches are able to handle the problem of class bias by synthesizing unseen class samples. However, these ZSL/GZSL models suffer due to the following key limitations: $(i)$ Their training stage learns a class-conditioned generator using only \emph{seen} class data and the training stage does not \emph{explicitly} learn to generate the unseen class samples; $(ii)$ They do not learn a generic optimal parameter which can easily generalize for both seen and unseen class generation; and $(iii)$ If we only have access to a very few samples per seen class, these models tend to perform poorly. In this paper, we propose a meta-learning based generative model that naturally handles these limitations. The proposed model is based on integrating model-agnostic meta learning with a Wasserstein GAN (WGAN) to handle $(i)$ and $(iii)$, and uses a novel task distribution to handle $(ii)$. Our proposed model yields significant improvements on standard ZSL as well as more challenging GZSL setting. In ZSL setting, our model yields 4.5\%, 6.0\%, 9.8\%, and 27.9\% relative improvements over the current state-of-the-art on CUB, AWA1, AWA2, and aPY datasets, respectively.

연구 동기 및 목표

• 기존의 생성적 ZSL/GZSL 모델의 핵심 한계를 해결: 학습 중 비본문 클래스의 명시적 생성 부족, 공유 파라미터의 낮은 일반화 능력, 소수 샘플 본문 클래스 설정에서의 낮은 성능.
• 메타학습된 생성 모델을 사용해 일반화 제로샷 학습(GZSL)에서의 클래스 편향을 극복하고, 비본문 클래스 샘플을 합성함으로써 해결.
• 본문 클래스당 5~10개의 레이블된 예시만으로 모델을 훈련하여 실제 데이터 부족 상황을 모방함으로써 효과적인 소수 샘플 일반화를 가능하게 함.
• 메타학습을 위한 새로운 작업 분포를 개발하여 훈련 및 검증 클래스를 상호 배타적인 집합으로 분할함으로써, 모델이 메타학습 기간 동안 새로운 클래스를 생성하도록 학습할 수 있도록 함.

제안 방법

• 모델에 종속되지 않는 메타학습(MAML)과 조건부 워셔스타인 GAN(WGAN)을 통합하여, 소수의 경사 하강 스텝만으로 본문 및 비본문 클래스에 빠르게 적응할 수 있도록 함.
• 생성자, 판별자, 분류기 각각에 별도의 메타학습 에이전트를 도입하여, 저샷 조건에서의 일반화 능력과 강건성을 향상시킴.
• 메타학습 에피소드에서 각각의 훈련 및 검증 클래스가 상호 배타적인 조건부 분포를 갖는 새로운 제로샷 메타학습(ZSML) 작업 분포를 설계함으로써, 모델이 메타학습 기간 동안 비본문 클래스 샘플을 생성하도록 학습할 수 있도록 함.
• 클래스 속성(예: word2vec 또는 속성 벡터)을 조건으로 삼아 생성자에 입력하여 본문 및 비본문 클래스 모두에 대해 현실적인 샘플을 합성함.
• GAN과 함께 공동으로 훈련된 분류기 헤드를 사용하여 생성된 샘플이 뿐만 아니라 그 클래스 레이블과 의미적으로도 일치함을 보장함.
• 실제 샘플과 생성된 샘플 간의 분포 이탈을 최소화하면서도 클래스별 생성 능력을 유지하기 위해, 적대적 손실과 메타최적화를 종합적으로 사용하여 모델을 엔드 투 엔드로 훈련함.

실험 결과

연구 질문

• RQ1 본문 클래스 데이터에 소수의 예시만으로도 메타학습 기반 생성 모델이 비본문 클래스의 고품질 샘플을 효과적으로 합성할 수 있는가?
• RQ2 메타학습 에피소드에서 훈련 및 검증 클래스를 분리한 ZSML 분할 방식이 표준 MAML 분할 방식보다 비본문 클래스로의 일반화 능력을 향상시키는가?
• RQ3 생성자 및 판별기 구성 요소에 메타학습 에이전트를 포함시키는 것이 소수 샘플 제로샷 및 일반화 제로샷 학습에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크가 소수 샘플 본문 클래스 환경에서 기존 최신 기술 수준의 방법들보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 모델은 ZSL 설정에서 CUB, AWA1, AWA2, aPY 데이터셋에서 각각 4.5%, 6.0%, 9.8%, 27.9%의 상대적 향상을 기록하며 최신 기술 수준을 초월한다.
• 본문 클래스당 5개의 레이블된 예시만으로도 CUB, aPY, AWA2에서 최신 기술 수준의 방법들을 능가하며, 강력한 소수 샘플 일반화 능력을 입증한다.
• 본문 클래스당 10개의 예시만으로도 기존 방법들이 전체 훈련 데이터를 사용하는 경우조차도 모델이 승승을 거두며, ZSL 설정에서 여전히 기존 방법들을 능가한다.
• 제거 실험 결과, 판별기에서 메타학습 에이전트를 제거하면 CUB와 AWA2에서 각각 5.8%와 8.6%의 정확도 저하가 발생하여, 메타학습 에이전트가 피드백 품질 향상에 결정적인 역할을 함을 시사한다.
• 생성자에서 메타학습 에이전트를 제거하면 CUB와 AWA2에서 각각 2.2%와 7.9%의 정확도 저하가 발생하여, 메타학습된 생성자가 고해상도 샘플 생성에 필수적임을 입증한다.
• 새로운 ZSML 작업 분포(훈련 및 검증 클래스가 상호 배타적)는 표준 MAML 분할 방식 대비 AWA2에서 1.7%, CUB에서 2.4%의 ZSL 성능 향상을 이끌어내어, 이 분포의 효과를 입증한다.