[논문 리뷰] Stabilizing Training of Generative Adversarial Networks through Regularization

Kevin A. Roth, Aurélien Lucchi외 2명|arXiv (Cornell University)|2017. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 204

한 줄 요약

논문은 f-GAN의 훈련을 안정시키기 위해 구분자에 대한 노이즈 유도 정규화기를 도입하고, 차원 불일치 문제를 해결하며 다양한 아키텍처에서 샘플 품질을 향상시킵니다.

ABSTRACT

Deep generative models based on Generative Adversarial Networks (GANs) have demonstrated impressive sample quality but in order to work they require a careful choice of architecture, parameter initialization, and selection of hyper-parameters. This fragility is in part due to a dimensional mismatch or non-overlapping support between the model distribution and the data distribution, causing their density ratio and the associated f-divergence to be undefined. We overcome this fundamental limitation and propose a new regularization approach with low computational cost that yields a stable GAN training procedure. We demonstrate the effectiveness of this regularizer across several architectures trained on common benchmark image generation tasks. Our regularization turns GAN models into reliable building blocks for deep learning.

연구 동기 및 목표

• 데이터 분포와 모델 분포 간의 차원 불일치로 인해 GAN 훈련의 불안정성을 야기하는 동기를 제시하고 해결합니다.
• 노이즈 기반 정규화 프레임워크를 도입하여 잘 정의되고 강건한 f-GAN 목적함수를 얻습니다.
• 다양한 GAN 아키텍처와 데이터셋에서 훈련을 안정시키는 효율적이고 구현 가능한 정규화기를 제공합니다.
• 여러 모델과 벤치마드에서 안정성과 샘플 품질을 평가합니다.

제안 방법

• 데이터에 가우시안 노이즈를 컨볼루션하여 더 매끄러운 판별자를 얻는 f-GAN용 노이즈-컨볼루션 정규화를 도출합니다.
• 정규화된 목적함수를 그라디언트-노름 페널티로 근사하여 f-합성 함수의 이차 도함수로 가중된 제곱 그라디언트를 사용합니다.
• Jensen-Shannon GANs에 대해 정규화를 특화하여 구분자와 그 로짓에 그라디언트-노름 페널티를 부여하고 역전파로 계산할 수 있도록 합니다.
• 초기 안정성과 후기 성능의 균형을 맞추기 위해 정규화 강도 gamma의 어닐링 스킴을 제안합니다.
• Regularized JS-GAN with discriminator gradient penalty and generator updates를 자세히 설명하는 Algorithm 1을 제공합니다.

실험 결과

연구 질문

• RQ1 데이터 분포와 모델 분포가 겹치지 않거나 차원 불일치가 있을 때 구분자에 노이즈 유도 정규화를 추가하면 훈련이 안정화되나요?
• RQ2 제안된 정규화기가 다양한 GAN 아키텍처와 데이터셋 전반에 걸쳐 안정성, 수렴성, 샘플 품질에 어떤 영향을 미치나요?
• RQ3 정규화 강도의 어닐링이 훈련 역학 및 최종 생성 샘플의 품질에 어떤 영향을 미치나요?
• RQ4 입력 노이즈를 명시적으로 사용하는 것과 비교했을 때 정규화가 안정성 및 샘플 품질에 미치는 차이는 무엇인가요?
• RQ5 교차 테스트에서 정규화된 GAN이 비정규화된 GAN보다 생성 데이터 구분에 일반화된 능력을 보이는가요?

주요 결과

• 정규화기는 CelebA, CIFAR-10, LSUN bedrooms 등 다양한 아키텍처와 데이터셋에서 GAN 훈련을 안정화합니다.
• 차원적 불일치가 도전적인 상황에서도 사실상 무한히 훈련해도 붕괴 없이 학습될 수 있습니다.
• 정규화 강도 gamma의 어닐링은 학습 초기에 안정성을 높이고, gamma가 감소하더라도 0이 아닌 경우 여전히 이점을 제공합니다.
• 정규화는 비정규화 모델보다 시각적으로 더 높은 품질의 샘플을 생성하며, 실험 전반에서 안정성과 품질 측면에서 명시적 입력 노이즈보다 우수합니다.
• 교차 테스트에서 정규화된 모델의 구분기가 자신의 생성 데이터를 구분하는 데 더 잘 일반화되는 것으로 나타나 일반화 특성이 향상됩니다.