[논문 리뷰] Episode-based Prototype Generating Network for Zero-Shot Learning

Yunlong Yu, Zhong Ji외 2명|arXiv (Cornell University)|2019. 09. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 15

한 줄 요약

이 논문은 기존의 볼 수 없는 클래스로의 일반화 능력을 향상시키기 위해 훈련 중에 가짜 제로샷 태스크를 시뮬레이션하는 에피소드 기반 프로토타입 생성 네트워크(E-PGN)를 제안한다. 시맨틱 임베딩에 조건화된 시각적 프로토타입을 생성하고, 파라미터 효율적인 다중 모odal 교차 엔트로피 손실을 사용함으로써, E-PGN은 전통적 및 일반화된 ZSL 설정 모두에서 네 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

We introduce a simple yet effective episode-based training framework for zero-shot learning (ZSL), where the learning system requires to recognize unseen classes given only the corresponding class semantics. During training, the model is trained within a collection of episodes, each of which is designed to simulate a zero-shot classification task. Through training multiple episodes, the model progressively accumulates ensemble experiences on predicting the mimetic unseen classes, which will generalize well on the real unseen classes. Based on this training framework, we propose a novel generative model that synthesizes visual prototypes conditioned on the class semantic prototypes. The proposed model aligns the visual-semantic interactions by formulating both the visual prototype generation and the class semantic inference into an adversarial framework paired with a parameter-economic Multi-modal Cross-Entropy Loss to capture the discriminative information. Extensive experiments on four datasets under both traditional ZSL and generalized ZSL tasks show that our model outperforms the state-of-the-art approaches by large margins.

연구 동기 및 목표

• 훈련 중에 제로샷 태스크를 시뮬레이션하여 본 적 없는 클래스로의 일반화 갭을 줄이기 위해.
• 클래스 시맨틱에 조건화된 프로토타입 생성을 통해 제로샷 분류에서 시각-시맨틱 정렬을 향상시키기 위해.
• 추가 파라미터 없이 시각적 정보, 시맨틱 정보, 클래스 레이블 정보를 통합하는 파라미터 효율적인 분류 모듈을 개발하기 위해.
• 기존의 생성 기반 ZSL 방법에서 흔히 발생하는 불균형 분류 이동 및 모드 붕괴 문제를 완화하기 위해.
• 반복적인 에피소드 학습을 통해 점진적으로 모델 적응 능력을 향상시키는 견고한 훈련 프레임워크를 구축하기 위해.

제안 방법

• 모델은 각 에피소드가 훈련 데이터를 지원 세트와 정련 세트로 나누어 제로샷 태스크를 시뮬레이션하는 에피소드 기반 훈련 프레임워크를 사용한다.
• 프로토타입 생성 네트워크(PGN)는 두 개의 생성기와 디스criminator를 포함한 적대적 프레임워크를 사용하여 클래스 시맨틱 프로토타입에서 시각적 프로토타입을 합성한다.
• 이 방법은 추가 파라미터 없이 하나의 분류 헤드에서 시각적 특징, 시맨틱 프로토타입, 클래스 레이블을 동시에 최적화하는 다중 모달 교차 엔트로피(MCE) 손실을 도입한다.
• 적대적 훈련은 진짜와 가짜의 시각-시맨틱 쌍을 구분함으로써 시각적 공간과 시맨틱 공간을 정렬하여 특징 일관성을 향상시킨다.
• 모델는 적대적 손실, 시각적 및 시맨틱 복원 회귀 손실, MCE 손실을 조합하여 엔드 투 엔드로 훈련된다.
• 추론 시에는 유클리드 거리 기반 분류가 사용되며, 아블레이션 결과는 코사인 거리보다 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 에피소드 기반 훈련 프레임워크는 제로샷 학습에서 본 적 없는 클래스로의 일반화 능력을 향상시키는 데 효과적인가?
• RQ2 클래스 시맨틱 프로토타입에서 시각적 프로토타입을 얼마나 효과적으로 생성할 수 있는가? 이는 본 적 있는 클래스와 본 적 없는 클래스 사이의 도메인 갭을 메우는 데 기여하는가?
• RQ3 파라미터 경제적인 다중 모달 교차 엔트로피 손실은 모델 복잡도를 증가시키지 않고도 분류 정확도를 향상시키는가?
• RQ4 다양한 거리 측정법(Euclidean vs. cosine)이 제로샷 분류 성능에 미치는 영향은 무엇인가?
• RQ5 E-PGN 모델의 개별 구성 요소들이 전체 성능에 기여하는 방식은 어떠한가?

주요 결과

• E-PGN은 네 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성했으며, 일반화된 ZSL 환경에서 FLO 데이터셋에서 76.5%의 상위-1 정확도를 기록했다.
• 모든 구성 요소(적대적 손실, 두 개의 회귀 손실, MCE 손실)를 포함한 모델은 16개 지표 중 14개에서 최고 성능을 기록하여 상호 보완적 이점이 있음을 입증했다.
• 아블레이션 연구 결과, MCE 손실을 제거할 경우 네 가지 데이터셋 중 세 곳에서 성능 저하가 심하게 발생하여, 분류 정확도 향상에서 MCE 손실의 핵심적 역할을 확인했다.
• MCE 손실을 포함한 모델은 AwA1, AwA2, CUB에서 기존의 전통적 교차 엔트로피 손실 기반 베이스라인보다 우수한 성능을 보였으며, FLO에서는 유사한 성능를 기록하여 다중 모달 손실의 효과성을 확인했다.
• 유클리드 거리가 모든 데이터셋에서 코사인 거리보다 일관되게 뛰어난 성능를 보였으며, 제안된 프레임워크에 적합함을 시사했다.
• 에피소드 기반 훈련 프레임워크는 모델이 모의로 본 적 없는 클래스를 예측하는 데 경험을 점진적으로 축적하게 하여 실제 본 적 없는 클래스에 대한 강력한 일반화 능력을 확보했다.