[논문 리뷰] Towards Good Practices for Data Augmentation in GAN Training.

Ngoc-Trung Tran, Viet-Hung Tran외 3명|arXiv (Cornell University)|2020. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 26

한 줄 요약

이 논문은 GAN이 원본 데이터의 분포를 학습하는 데에만 집중하고, 증강된 데이터의 분포를 학습하지 않도록 보장하는 원칙적인 프레임워크인 DAG(Data Augmentation Optimized for GAN)을 제안한다. 이론적 보장을 통해 GAN 학습을 원본 데이터 분포와 일치시킴으로써 생성기와 판별기의 학습을 향상시키며, 다양한 GAN 모델에서 최고 수준의 FID 점수를 달성한다.

ABSTRACT

Recent successes in Generative Adversarial Networks (GAN) have affirmed the importance of using more data in GAN training. Yet it is expensive to collect data in many domains such as medical applications. Data Augmentation (DA) has been applied in these applications. In this work, we first argue that the classical DA approach could mislead the generator to learn the distribution of the augmented data, which could be different from that of the original data. We then propose a principled framework, termed Data Augmentation Optimized for GAN (DAG), to enable the use of augmented data in GAN training to improve the learning of the original distribution. We provide theoretical analysis to show that using our proposed DAG aligns with the original GAN in minimizing the JS divergence w.r.t. the original distribution and it leverages the augmented data to improve the learnings of discriminator and generator. The experiments show that DAG improves various GAN models. Furthermore, when DAG is used in some GAN models, the system establishes state-of-the-art Frechet Inception Distance (FID) scores.

연구 동기 및 목표

• 기존의 데이터 증강 기법이 GAN이 원본 데이터가 아닌 증강된 데이터의 분포를 학습하도록 유도할 수 있는 위험을 해결하기 위해.
• 원본 데이터 분포와의 일치를 보장하는 이론적으로 탄탄한 방법을 개발하여, 증강된 데이터를 효과적으로 활용하면서도 원본 분포 유지가 가능한 GAN 학습을 가능하게 하기 위해.
• 분포 이탈 없이 증강된 데이터를 활용하여 생성기와 판별기의 성능을 향상시키기 위해.
• 다양한 GAN 아키텍처에서 생성 품질을 측정하는 Frechet Inception Distance(FID) 기준으로 최고 성능을 달성하기 위해.

제안 방법

• 증강된 데이터를 사용하더라도 생성기가 원본 데이터 분포를 학습하도록 보장하기 위해 GAN 학습 목표를 수정하는 DAG 프레임워크를 제안한다.
• 이론적 분석을 통해 DAG가 원본 데이터 분포에 대해 젠센-쇼넬리 분산(JS divergence)을 최소화함을 보여주며, 기존 GAN 학습과의 일관성을 유지한다.
• 데이터 증강을 판별기의 진짜 데이터 샘플링 과정에 통합하여, 생성기는 증강된 데이터를 통해 학습되지만 원본 분포를 최적화하도록 유도한다.
• 데이터 증강으로 인한 분포 이탈을 보상하기 위해 손실 함수에 재가중 메커니즘을 도입하여 원본 데이터의 통계적 성질을 유지한다.
• 아키텍처 수정 없이 StyleGAN 및 BigGAN과 같은 다양한 GAN 모델에 DAG를 적용하여 즉각적인 성능 향상을 가능하게 하는 플러그 앤 플레이 방식을 제공한다.

실험 결과

연구 질문

• RQ1 GAN 학습에서의 데이터 증강이 분포 오류를 일으켜 생성기가 원본 대신 증강된 데이터 분포를 학습하게 할 수 있는가?
• RQ2 데이터 증강을 어떻게 GAN 학습에 통합하여 원본 데이터 분포의 학습을 유지할 수 있는가?
• RQ3 제안된 DAG 프레임워크는 표준 GAN 목표와 이론적으로 일관성을 유지하면서 성능 향상을 이룰 수 있는가?
• RQ4 DAG는 다양한 GAN 아키텍처에 적용했을 때 증강된 데이터를 활용해 최고 수준의 FID 점수를 달성할 수 있는가?

주요 결과

• DAG는 증강된 데이터를 사용하더라도 원본 데이터 분포에 대한 JS 분산을 최소화하는 것을 보장한다.
• 이 프레임워크는 분포 이탈 없이 증강된 데이터를 효과적으로 활용함으로써 생성기와 판별기의 학습을 향상시킨다.
• 실험 결과, 다양한 GAN 모델에서 DAG를 사용할 경우 일관된 성능 향상이 관찰된다.
• 일부 GAN 모델에 적용했을 때 DAG는 최고 수준의 FID 점수를 달성하여, 생성 품질 향상에 효과적임을 입증한다.