[논문 리뷰] Adversarial Feature Hallucination Networks for Few-Shot Learning

Kai Li, Yulun Zhang외 2명|arXiv (Cornell University)|2020. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 23

한 줄 요약

이 논문은 소수의 레이블이 부여된 샘플을 조건으로 삼아 다양한 특징과 구분 능력을 갖춘 특징을 합성하는 조건부 워셔스타인 GAN 기반 프레임워크인 적대적 특징 환영 네트워크(Adversarial Feature Hallucination Networks, AFHN)를 제안한다. 이는 분류 정규화기(Classification Regularizer, CR)와 복합 회피 정규화기(Anti-Collapse Regularizer, AR)라는 두 가지 새로운 정규화기를 도입하여, Mini-ImageNet, CIFAR100, FC100 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 데이터 증강 및 메타학습 방법에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

The recent flourish of deep learning in various tasks is largely accredited to the rich and accessible labeled data. Nonetheless, massive supervision remains a luxury for many real applications, boosting great interest in label-scarce techniques such as few-shot learning (FSL), which aims to learn concept of new classes with a few labeled samples. A natural approach to FSL is data augmentation and many recent works have proved the feasibility by proposing various data synthesis models. However, these models fail to well secure the discriminability and diversity of the synthesized data and thus often produce undesirable results. In this paper, we propose Adversarial Feature Hallucination Networks (AFHN) which is based on conditional Wasserstein Generative Adversarial networks (cWGAN) and hallucinates diverse and discriminative features conditioned on the few labeled samples. Two novel regularizers, i.e., the classification regularizer and the anti-collapse regularizer, are incorporated into AFHN to encourage discriminability and diversity of the synthesized features, respectively. Ablation study verifies the effectiveness of the proposed cWGAN based feature hallucination framework and the proposed regularizers. Comparative results on three common benchmark datasets substantiate the superiority of AFHN to existing data augmentation based FSL approaches and other state-of-the-art ones.

연구 동기 및 목표

• 소수의 레이블이 부여된 데이터로 인한 도전 과제를 해결하기 위해 고품질의 합성 특징을 생성하는 것.
• 기존의 데이터 증강 방법이 합성 샘플의 분류 능력과 다양성을 동시에 확보하지 못하는 한계를 극복하는 것.
• 새로운 클래스의 소수의 레이블이 부여된 샘플을 조건으로 삼아 특징을 환영하는 조건부 GAN 기반 프레임워크를 개발하는 것.
• 합성 과정에서 특징의 분류 능력을 강화하고 모드 붕괴를 방지하는 데 전용으로 작용하는 새로운 정규화기를 도입하는 것.
• 기존의 최신 기술 수준(SOTA)의 데이터 증강 및 메타학습 접근법에 비해 표준 소수의 샘플 학습 벤치마크에서 뛰어난 성능을 보여주는 것.

제안 방법

• AFHN은 새로운 클래스의 소수의 레이블이 부여된 샘플의 특징을 조건으로 삼아 합성 특징을 생성하기 위해 조건부 워셔스타인 GAN(cWGAN)을 사용한다.
• 분류 정규화기(CR)는 동일한 클래스에서의 실제 특징과 합성 특징 간의 유사도를 높이고, 다른 클래스의 특징과의 유사도를 최소화함으로써 특징의 분류 능력을 강화한다.
• 복합 회피 정규화기(AR)는 잠재 공간에서 유사한 노이즈 벡터가 유사한 특징 출력을 생성하는 경우를 제재함으로써 모드 붕괴를 방지하고 다양성을 증진시킨다.
• 생성자는 CR을 통해 분류 능력을 확보하고 AR을 통해 다양성을 확보함으로써 분류기의 일반화 능력을 향상시킨다.
• 이 프레임워크는 이미지 공간이 아닌 특징 공간에서 작동하므로, 더 체계적이고 의미적으로 유의미한 데이터 증강이 가능하다.
• 제거 실험을 통해 cWGAN 프레임워크와 두 정규화기의 독립적 및 병합된 효과가 검증되었다.

실험 결과

연구 질문

• RQ1 조건부 GAN 기반의 특징 환영 프레임워크는 소수의 샘플 학습 성능 향상에 기여하는 고품질의 합성 특징을 효과적으로 생성할 수 있는가?
• RQ2 제안된 분류 정규화기(CR)는 동일한 클래스의 실제 특징과 일치시키는 방식으로 합성 특징의 분류 능력을 향상시키는가?
• RQ3 복합 회피 정규화기(AR)는 조건부 GAN에서 모드 붕괴를 효과적으로 완화하고 합성 특징의 다양성을 향상시키는가?
• RQ4 AFHN은 소수의 샘플 학습 벤치마크에서 최신 기술 수준(SOTA)의 데이터 증강 및 메타학습 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 소수의 레이블 샘플로 인해 내부 클래스 분산이 제한된 상황에서 특징 환영을 통한 데이터 증강이 분류 정확도 향상에 어느 정도 기여하는가?

주요 결과

• AFHN은 Mini-ImageNet 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 5샷 설정에서 이전의 SOTA 방법보다 2.4% 향상된 성능을 보였다.
• CIFAR100에서 AFHN은 1샷 설정에서 Dual TriNet에 비해 5% 향상되었고, 5샷 설정에서는 3% 향상되었으며, 최고의 메타학습 방법에 비해서는 7%와 4% 향상되었다.
• 기본 방법 대비 CIFAR100의 1샷 및 5샷 설정에서 각각 10%와 5% 향상되어, GAN 기반의 데이터 증강이 효과적임을 입증하였다.
• FC100에서 AFHN은 1샷 설정에서는 중간 정도의 향상, 5샷 설정에서는 약간의 성능 향상을 보였으며, 이는 데이터셋의 크기가 작고 내부 클래스 분산이 제한적이기 때문으로 분석되었다.
• 제거 실험을 통해 CR 및 AR 정규화기가 성능 향상에 뚜렷한 기여를 하며, 특히 t-SNE 시각화를 통해 AR이 특징의 다양성을 크게 향상시킴을 확인하였다.
• 합성된 특징의 수는 정확도에 포화 효과를 보이며, 내부 클래스 분산이 충분히 반영된 이후 성능이 안정화됨을 나타내었다.