[논문 리뷰] Annealed Generative Adversarial Networks

Arash Mehrjou, Schölkopf, Bernhard외 1명|arXiv (Cornell University)|2017. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 9

한 줄 요약

이 논문은 $\beta$-GAN을 제안하며, 데이터 분포로 점진적으로 안내하는 방식으로 적응 학습을 안정화시키는 새로운 GAN 학습 프레임워크이다. 생성자(generator)를 전체 임베딩 공간으로 초기화하고 연속적인 안내를 통해 $\beta$-GAN은 모드 붕괴를 방지하고, 추가적인 노이즈 주입이나 복잡한 아키텍처 없이도 합성 데이터, MNIST, CelebA 데이터셋에서 안정적인 학습을 보장한다.

ABSTRACT

We introduce a novel framework for adversarial training where the target distribution is annealed between the uniform distribution and the data distribution. We posited a conjecture that learning under continuous annealing in the nonparametric regime is stable irrespective of the divergence measures in the objective function and proposed an algorithm, dubbed ß-GAN, in corollary. In this framework, the fact that the initial support of the generative network is the whole ambient space combined with annealing are key to balancing the minimax game. In our experiments on synthetic data, MNIST, and CelebA, ß-GAN with a fixed annealing schedule was stable and did not suffer from mode collapse.

연구 동기 및 목표

• 낮은 차원의 데이터 다양체와 균형 잡히지 않은 최소최대 게임으로 인해 일반 GAN 학습에서 흔히 발생하는 불안정성과 모드 붕괴 문제를 해결하기 위해.
• 생성자를 임베딩 공간 전체에 대해 최대 지지를 가지도록 초기화하여 적응 학습을 안정화시키기 위해.
• 최소최대 게임의 안정성을 보장하기 위해 균일 분포에서 데이터 분포로의 연속적인 안내 스케줄을 제안하기 위해.
• 생성자의 초기 최대 지지 성질을 활용하여 인스턴스 노이즈를 추가하거나 목적 함수를 수정하지 않아도 안정적인 학습이 가능함을 보여주기 위해.
• 합성 데이터, MNIST, CelebA에서 프레임워크를 검증하여 일관된 성능과 모드 붕괴 없음을 입증하기 위해.

제안 방법

• 균일 분포($\beta = 0$)에서 데이터 분포($\beta = \infty$)로의 보간을 위한 매개변수 $\beta$를 도입하며, 이는 역온도 역할을 한다.
• 원래의 젠슨-쇼넬 분산 공식을 사용하지만, 생성자는 초기에 잡음이 임베딩 공간 전역의 균일 분포로 매핑되도록 설정한다.
• 고정된 안내 스케줄을 사용하여 학습 기간 내내 목표 분포를 균일 분포에서 데이터 분포로 점진적으로 이동시킨다.
• 생성자의 잠재 차원 $\text{dim}(z) \geq d$ 를 확보하여 초기에 전체 임베딩 공간을 메울 수 있도록 하여, 측도가 0인 지지 문제를 방지한다.
• 균일 분포가 최대 지지를 가지므로, 초기 학습 단계에서 강력한 학습 신호를 제공하여 판별자가 생성 샘플을 쉽게 기각하는 것을 방지한다.
• 완전 연결 및 DCGAN 스타일 아키텍처를 각각 MNIST와 CelebA에 적용하며, 배치 정규화와 ReLU/LeakyReLU 활성화 함수를 사용한다.

실험 결과

연구 질문

• RQ1 생성자를 낮은 차원의 잠재 분포가 아닌 전체 임베딩 공간을 지지하도록 초기화함으로써, 적응 학습을 안정화시킬 수 있는가?
• RQ2 균일 분포에서 데이터 분포로의 연속적 안내가 다양한 데이터 분포에서 GAN의 모드 붕괴를 방지하는가?
• RQ3 최대 지지 초기화와 안내를 통해, 다양한 분산 측도에서도 최소최대 게임의 안정성이 유지되는가?
• RQ4 $\beta$-GAN은 인스턴스 노이즈를 추가하거나 목적 함수를 수정하지 않아도 안정적인 학습을 달성할 수 있는가?
• RQ5 안내 과정이 시간이 지남에 따라 생성 샘플의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 5개 또는 10개의 모드를 가진 합성 데이터에서 $\beta$-GAN은 모드 붕괴 없이 모든 모드를 성공적으로 생성했고, 일반 GAN은 심각한 모드 붕괴를 보였다.
• MNIST에서 $\beta$-GAN은 모든 $\beta$ 값에서 다양하고 고화질의 샘플을 생성했으며, 안내 과정 동안 생성자가 균일 잡음에서 현실적인 숫자로 진화하는 모습을 보였다.
• CelebA에서 $\beta$-GAN은 날카롭고 다양한 얼굴 이미지를 생성했고, 고도의 복잡성에도 불구하고 모드 붕괴 없이 작동했으며, 훈련 곡선은 실제 및 가짜 샘플의 판별자 출력이 안정적으로 유지됨을 보였다.
• $\beta$-GAN의 훈련 곡선은 데이터 복잡성이 증가함에 따라 실과 가짜 판별자 점수 간 격차가 최소화되며 일관된 안정성과 강건성을 보였다.
• 생성자에서 ReLU를 사용함으로써 부드러운 비선형성(Tanh 등)을 사용할 때 관찰된 '고정된 잡음' 모드 붕괴를 방지했으며, 이는 아키텍처가 학습 안정성에 민감함을 시사한다.
• 고정된 안내 스케줄을 사용하여 안정적인 학습을 달성했고, 결과는 다양한 데이터셋과 아키텍처(완전 연결 및 DCGAN 기반 모델 포함)에서 강건하게 유지되었다.