[논문 리뷰] Progressive Augmentation of GANs

Dan Zhang, Anna Khoreva|arXiv (Cornell University)|2019. 01. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 10

한 줄 요약

이 논문은 점진적 증강 기반의 GAN 정규화 기법인 PA-GAN(Progressive Augmentation of GANs)을 제안한다. 이 기법은 무작위 비트를 구조적으로 추가함으로써 판별기의 입력 또는 특징 공간을 점차적으로 증강시켜, 판별기의 과도한 확신을 방지하고 생성기의 의미 있는 기울기를 유지함으로써 훈련 안정성과 성능을 향상시킨다. 다양한 벤치마크에서 평균 FID 점수 약 3점 향상됨.

ABSTRACT

Training of Generative Adversarial Networks (GANs) is notoriously fragile, requiring to maintain a careful balance between the generator and the discriminator in order to perform well. To mitigate this issue we introduce a new regularization technique - progressive augmentation of GANs (PA-GAN). The key idea is to gradually increase the task difficulty of the discriminator by progressively augmenting its input or feature space, thus enabling continuous learning of the generator. We show that the proposed progressive augmentation preserves the original GAN objective, does not compromise the discriminator's optimality and encourages a healthy competition between the generator and discriminator, leading to the better-performing generator. We experimentally demonstrate the effectiveness of PA-GAN across different architectures and on multiple benchmarks for the image synthesis task, on average achieving ~3 point improvement of the FID score.

연구 동기 및 목표

• 판별기의 과도한 확신과 기울기 소실로 인한 GAN 훈련의 불안정성 문제를 해결하기 위해.
• 생성기와 판별기 간의 건강하고 역동적인 경쟁을 훈련 전반에 걸쳐 유지하기 위해.
• 기존 GAN 목표를 유지하면서도 판별기 최적화에 편향을 주지 않는 정규화 방법을 도입하기 위해.
• 아키텍처 변경 없이 생성기 성능을 향상시키며, 판별기 최적화나 레이블 감독을 요구하지 않기 위해.
• 기존 GAN 아키텍처 및 정규화 기법과의 광범위한 호환성을 확보하기 위해.

제안 방법

• PA-GAN은 무작위 이진 비트를 추가하여 판별기의 입력 또는 중간 특징 표현을 점진적으로 증강한다.
• 증강된 입력은 원본 데이터 또는 특징과 무작위 비트를 조합하여 더 복잡한 식별 과제를 만든다.
• 증강된 샘플의 클래스는 원본 데이터와 무작위 비트의 조합에 기반하여 결정되며, 실재 및 가짜 샘플이 모두 두 클래스에 포함된다.
• 증강 수준은 훈련 중에 점차 증가하여 과제의 난이도를 체계적으로 높인다.
• 기존 정규화 기법과 수직적 관계를 유지하며, 레이블 스무딩, 기울기 페널티, 자기지도 학습 등과 함께 사용 가능하다.
• 최소한의 아키텍처 변경으로 구현되며, SN DCGAN 및 SA GAN과 같은 기존 GAN 프레임워크에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 판별기의 입력 또는 특징 공간을 점진적으로 증강하는 것은 GAN 훈련의 안정성을 향상시킬 수 있는가?
• RQ2 PA-GAN은 판별기 과도한 확신을 방지하면서도 기존 GAN 목표를 유지하는가?
• RQ3 아키텍처 수정 없이 레이블 감독 없이도 FID 점수를 향상시킬 수 있는가?
• RQ4 PA-GAN은 기울기 페널티나 레이블 스무딩과 같은 다른 정규화 기법과 어떻게 상호작용하는가?
• RQ5 비지도 설정에서 BigGAN과 같은 대규모 지도 학습 GAN의 성능을 달성할 수 있는가?

주요 결과

• PA-GAN은 Fashion-MNIST, CIFAR10, CELEBA-HQ, Tiny-ImageNet 등 다양한 벤치마크에서 평균 약 3점의 FID 향상을 달성한다.
• CIFAR10에서 PA-GAN과 SS-GAN을 조합하면 비지도 설정에서 최신 기준 FID 14.7을 달성하며, 레이블 감독이 있는 BigGAN 성능과 동일하다.
• 이론적으로 증명된 바와 같이, PA-GAN은 기존 GAN 목표를 유지하고 판별기 최적화에 편향을 주지 않는다.
• PA-GAN은 판별기가 과도하게 확신하지 않도록 하여 훈련 역학을 향상시키고, 생성기의 유용한 기울기를 유지함으로써 성능을 향상시킨다.
• PA-GAN은 다양한 아키텍처(SN DCGAN, SA GAN)에서 효과적이며, 레이블 스무딩, 기울기 페널티, 드롭아웃과 같은 다른 정규화 방법과도 조합 가능하다.
• 점진적인 증강 수준 증가로 손실 곡면의 급격한 변화 없이 안정적이고 지속적인 학습 과정을 보장한다.