[논문 리뷰] Low-shot Learning via Covariance-Preserving Adversarial Augmentation Networks

Hang Gao, Zheng Shou외 3명|arXiv (Cornell University)|2018. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 81

한 줄 요약

본 논문은 Covariance-Preserving Adversarial Augmentation Networks (CP-AAN)를 제안하여 관련 기반 클래스를 활용해 새로운 클래스의 잠재 분포를 모델링하고, 공분산을 보존해 저샷 학습에서 다양하고 현실적인 특징을 생성하며, ImageNet에서 최첨단 성능을 달성한다.

ABSTRACT

Deep neural networks suffer from over-fitting and catastrophic forgetting when trained with small data. One natural remedy for this problem is data augmentation, which has been recently shown to be effective. However, previous works either assume that intra-class variances can always be generalized to new classes, or employ naive generation methods to hallucinate finite examples without modeling their latent distributions. In this work, we propose Covariance-Preserving Adversarial Augmentation Networks to overcome existing limits of low-shot learning. Specifically, a novel Generative Adversarial Network is designed to model the latent distribution of each novel class given its related base counterparts. Since direct estimation of novel classes can be inductively biased, we explicitly preserve covariance information as the `variability' of base examples during the generation process. Empirical results show that our model can generate realistic yet diverse examples, leading to substantial improvements on the ImageNet benchmark over the state of the art.

연구 동기 및 목표

• 매우 적은 예시로부터 새로운 개념을 학습하고 미세 튜닝 중 재앙적 망각을 완화한다.
• Base-class 특징을 novel-class 특징으로 변환하면서 잠재 분포를 모델링하는 GAN 기반 프레임워크를 제안한다.
• novel-class 데이터를 생성할 때 현실적인 가변성을 유지하기 위해 intra-class 공분산을 보존한다.
• Translation에 관련된 관련-base 클래스를 선택하기 위한 Neighborhood Batch Sampling 도입.
• 이전 방법들에 비해 ImageNet에서 저샷 및 일반화 성능이 개선되었음을 보인다.

제안 방법

• G_n이 base class 특징을 novel classes로 번역하는 불균형 셋-투-셋 변환을 형식화한다.
• Neighborhood Batch Sampling (NBS)을 사용해 학습된 임베딩 공간의 클래스 프로토타입에 기초해 novel 클래스와 의미적으로 유사한 base 클래스를 페어링한다.
• 여러 GAN 변형(c-GAN, cCyc-GAN, cDeLi-GAN, 및 공분산 보존 cCov-GAN)을 개발한다.
• 기저 클래스와 생성된 클래스 특징의 공분산 간 불일치를 측정하는 잘린 SVD 기반 메트릭을 사용하는 공분산 거리 항 d_cov를 도입한다.
• novel-base 쌍의 기대값으로 정의된 L_cov가 가변성을 보존하도록 생성을 유도한다.
• 공격적 손실, 사이클 일관성 손실 및 L_cov를 결합해 cCov-GAN의 G_n과 G_b에 대한 최종 목적함수를 구성한다.
• 메타 학습은 테스트 시 저샷을 모방하도록 기본 데이터로 진행하고, 이후 novel 클래스와 그 저샷 예제로 메타 테스트를 수행해 최종 분류기 학습 데이터를 증강한다.
• Prototypical Network 임베딩이나 ResNet 임베딩을 사용한 에피소드 샘플링 및 일반 GAN 최적화를 통해 학습한다.

실험 결과

연구 질문

• RQ1 공분산 보존적 적대적 증강이 naive 또는 cycle-consistent GAN에 비해 더 다양하고 현실적인 novel-class 특징을 생성할 수 있는가?
• RQ2 번역 과정에서 기저 클래스의 intra-class 공분산을 유지하는 것이 ImageNet에서 저샷 및 일반화 인식 성능을 향상시키는가?
• RQ3 Neighborhood Batch Sampling이 novel 클래스에 대해 변환 가능한 base 클래스를 선택하는 데 얼마나 효과적인가?
• RQ4 다양한 GAN 변형(c-GAN, cCyc-GAN, cDeLi-GAN, cCov-GAN)이 생성 다양성과 다운스트림 분류 정확도에 어떤 영향을 미치는가?

주요 결과

Method	Representation	Generation	K=1	K=2	K=5	K=10	K=20	K=1	K=2	K=5	K=10	K=20
CP-AAN	ResNet-10	cCov-GAN	47.1	57.9	68.9	76.0	79.3	52.1	60.3	69.2	72.4	76.8

• 공분산 보존(cCov-GAN)을 포함한 CP-AAN 변형 중 최적의 성능을 보였으며, 기존 증가 방법들에 비해 상당한 향상을 보여준다.
• ImageNet의 저샷 학습에서, cCov-GAN은 K-shot 설정 전반에서 상위 다섯 가지 정확도(topter-5)를 향상시키며 베이스라인보다 현저한 차이로 우수한 성능을 보인다.
• 공분산 보존은 더 다양하고 현실적인 생성 특징으로 이어져 novel-class에 대한 일반화를 촉진한다.
• Neighborhood Batch Sampling(NBS)은 표준 배치 샘플링에 비해 저샷 인식 성능을 향상시키며 소프트 NBS(NBS-S)가 일반적으로 선호된다.
• 절단된 사이클 일관성과 가우시안 노이즈 변형은 생성 성능을 향상시키지만 다양성 추정에 오차를 줄 수 있으며, 공분산 기반 손실이 가장 충실한 다양성 및 분류 이점을 제공한다.
• 정량적 결과는 제안된 방법이 저샷 학습(LSL)과 일반화 설정(GLSL) 모두에서 ImageNet에서 최첨단 성능을 달성한다는 것을 보여준다.