[논문 리뷰] Data Augmentation Generative Adversarial Networks

Antreas Antoniou, Amos Storkey외 1명|arXiv (Cornell University)|2017. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 806

한 줄 요약

DAGAN은 조건부 GAN을 사용하여 소스 도메인으로부터 클래스 내 데이터 증강을 학습하고, 데이터가 적은 타깃 도메인에서 일반 분류기와 소샷 학습 방법의 성능을 향상시키며 Omniglot, EMNIST, VGG-Face에서 주목할 만한 정확도 증가를 보였다.

ABSTRACT

Effective training of neural networks requires much data. In the low-data regime, parameters are underdetermined, and learnt networks generalise poorly. Data Augmentation alleviates this by using existing data more effectively. However standard data augmentation produces only limited plausible alternative data. Given there is potential to generate a much broader set of augmentations, we design and train a generative model to do data augmentation. The model, based on image conditional Generative Adversarial Networks, takes data from a source domain and learns to take any data item and generalise it to generate other within-class data items. As this generative process does not depend on the classes themselves, it can be applied to novel unseen classes of data. We show that a Data Augmentation Generative Adversarial Network (DAGAN) augments standard vanilla classifiers well. We also show a DAGAN can enhance few-shot learning systems such as Matching Networks. We demonstrate these approaches on Omniglot, on EMNIST having learnt the DAGAN on Omniglot, and VGG-Face data. In our experiments we can see over 13% increase in accuracy in the low-data regime experiments in Omniglot (from 69% to 82%), EMNIST (73.9% to 76%) and VGG-Face (4.5% to 12%); in Matching Networks for Omniglot we observe an increase of 0.5% (from 96.9% to 97.4%) and an increase of 1.8% in EMNIST (from 59.5% to 61.3%).

연구 동기 및 목표

• 저데이터 체제에서의 일반화 향상을 위해 더 풍부한 데이터 증강 전략을 학습한다.
• 소스 도메인에서 교차-클래스, 클래스 내 증강을 학습하는 데이터 증강 GAN(DAGAN)을 제안한다.
• DAGAN 증강이 일반 벤치 분류기 및 소샷 학습 시스템의 성능을 향상시키는지 입증한다.
• Omniglot에서 EMNIST 및 VGG-Face 데이터셋으로의 증강 전이로 도메인 간 적용 가능성을 보여준다.

제안 방법

• UNet/ResNet 스타일의 생성기(UResNet)와 DenseNet 판별기를 결합한 DAGAN 아키텍처를 도입한다.
• 엔코더 g(x)를 사용해 표현 r을 얻고, 잠재 벡터 z ~ N(0,I)를 연결한 뒤 x = f(z,r)로 증강 이미지를 디코딩한다.
• 향상된 Wasserstein GAN 목적을 사용하고 동일 클래스의 실제 페어를 DAGAN 생성 증강과 비교하는 크리틱으로 소스 도메인에서 DAGAN을 학습한다.
• 판별기에 원래 입력 x를 제공해 클래스 라벨에 의존하지 않고도 교차-클래스 일반화 가능한 증강을 학습하도록 한다.
• 실제 데이터와 DAGAN 증강 데이터를 함께 사용해 DenseNet 분류기를 학습시키고, 네트워크가 실제 데이터와 생성 데이터를 구분하는 라벨(real/fake)을 이용해 가중치를 조정하도록 한다.

실험 결과

연구 질문

• RQ1 학습된 데이터 증강 모델이 보지 못한 클래스에서 저데이터 체제에서도 일반화할 수 있는가?
• RQ2 DAGAN 생성 증강이 다양한 데이터셋에서 일반 벤치 및 소샷 학습 환경의 분류 성능을 향상시키는가?
• RQ3 증강 전략의 메타러닝이 일반적인 증강 및 다른 메타러닝 접근법과 비교해 원샷 학습에 이로운가?
• RQ4 소스 도메인에서 학습된 증강이 상당한 데이터셋 시프트를 가진 대상 도메인으로 효과적으로 전이될 수 있는가?

주요 결과

Experiment ID	Samples Per Class	Test Accuracy
Omni_5_Standard	5	0.689904
Omni_5_DAGAN_Augmented	5	0.821314
Omni_10_Standard	10	0.794071
Omni_10_DAGAN_Augmented	10	0.862179
Omni_15_Standard	15	0.819712
Omni_15_DAGAN_Augmented	15	0.874199
EMNIST_Standard	15	0.739353
EMNIST_DAGAN_Augmented	15	0.760701
EMNIST_Standard	25	0.783539
EMNIST_DAGAN_Augmented	25	0.802598
EMNIST_Standard	50	0.815055
EMNIST_DAGAN_Augmented	50	0.827832
EMNIST_Standard	100	0.837787
EMNIST_DAGAN_Augmented	100	0.848009
VGG-Face_Standard	5	0.0446948
VGG-Face_DAGAN_Augmented	5	0.125969
VGG-Face_Standard	15	0.39329
VGG-Face_DAGAN_Augmented	15	0.429385
VGG-Face_Standard	25	0.579942
VGG-Face_DAGAN_Augmented	25	0.584666

• DAGAN 증강이 모든 타깃 도메인 실험에서 일반 벤치 분류기의 정확도를 향상시킨다.
• Omniglot: 클래스당 5샘플에서 표준 방식의 69.0%에서 DAGAN 증강으로 82.1%로 증가.
• EMNIST: 클래스당 15샘플에서 표준 73.9%에서 DAGAN 증강 76.1%로 증가; 더 많은 샘플에서 최대 0. 값 증가.
• VGG-Face: 클래스당 5샘플에서 표준 4.5%에서 DAGAN 증강 12.0%로 증가.
• 일회 성능 매칭 네트워크에서 DAGAN 증강은 개선을 가져오며, 예를 들어 Omniglot은 96.9%에서 97.4%로(+0.5%), EMNIST는 59.5%에서 61.3%로(+1.8%) 증가.
• 표 1은 DAGAN 증강이 Omniglot, EMNIST, VGG-Face 데이터셋에서 테스트 정확도를 향상시키는 일반 벤치 분류기 결과를 보여준다.
• 표 2는 Omniglot에서 다양한 원샷 학습 방법과 비교하여 DAGAN-증강 결과를 제시하며 경쟁력 있는 향상을 보여준다.