[논문 리뷰] Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect

Wei Xiang, Boqing Gong외 3명|arXiv (Cornell University)|2018. 03. 05.

Generative Adversarial Networks and Image Synthesis인용 수 141

한 줄 요약

논문은 CT-GAN을 도입합니다. 이는 WGAN의 그래디언트 페널티에 실제 데이터 매니폴드에서의 일관성 항을 보강하는 Lipschitz-일관성 정규화를 제안하여 이미지 충실도를 향상시키고 강력한 반지도학습 결과를 가능하게 합니다.

ABSTRACT

Despite being impactful on a variety of problems and applications, the generative adversarial nets (GANs) are remarkably difficult to train. This issue is formally analyzed by \\cite{arjovsky2017towards}, who also propose an alternative direction to avoid the caveats in the minmax two-player training of GANs. The corresponding algorithm, called Wasserstein GAN (WGAN), hinges on the 1-Lipschitz continuity of the discriminator. In this paper, we propose a novel approach to enforcing the Lipschitz continuity in the training procedure of WGANs. Our approach seamlessly connects WGAN with one of the recent semi-supervised learning methods. As a result, it gives rise to not only better photo-realistic samples than the previous methods but also state-of-the-art semi-supervised learning results. In particular, our approach gives rise to the inception score of more than 5.0 with only 1,000 CIFAR-10 images and is the first that exceeds the accuracy of 90% on the CIFAR-10 dataset using only 4,000 labeled images, to the best of our knowledge.

연구 동기 및 목표

• Wasserstein GAN(WGAN)에서의 학습 불안정을 더 효과적으로 억제하며 Lipschitz 연속성을 강제하는 것을 목표로 함.
• 그래디언트 패널티 외에 실제 데이터 매니폴드에서의 Lipschitz 연속성을 강제하는 일관성 항을 제안함.
• 사진과 같은 실제 샘플의 현실감을 개선하고 CIFAR-10 및 MNIST에서 강력한 반지도학습 성능을 입증함.
• 데이터가 적은 환경에서 과적합을 줄이고 데이터 효율성을 향상시키는 것을 보여줌.
• 반지도학습 GAN 기반 학습과의 원활한 통합 프레임워크를 제공함.

제안 방법

• 개선된 WGAN 목적함수에 Lipschitz 경계 위반을 패널라이즈하는 부드러운 일관성 항 CT를 추가로 도입함.
• 실제 데이터 포인트의 드롭아웃으로 유사 포인트를 만들어 판별기에 대한 지역적 Lipschitz 제약을 추정함.
• GP-WGAN에서와 같이 실제 샘플과 생성 샘플 사이의 보간 샘플에 대해 그래디언트 페널티 항 GP를 추가하고 이를 전체 손실에서 CT와 결합함.
• 판별자 목표함수 L = E_z[D(G(z))] − E_x[D(x)] + λ1 GP|ẑ + λ2 CT|x′,x″ 이고 CT는 인근 실제 데이터 이웃에서의 변형된 판별자 출력 간의 일관성을 강제함.
• Semi-supervised 학습과의 연계를 위해 판별자를 K+1 출력으로 조정하고 SSL 목표함수에 CT와 같은 시간적 앙상블 스타일의 일관성 항을 도입함.
• 실험에서 사용된 하이퍼파라미터(예: λ1 = 10, λ2 = 2) 및 M′ 설정(0에서 0.2까지)을 포함한 학습 세부 정보를 제공함.]
• ]]
• research_questions: [

실험 결과

연구 질문

• RQ1 실제 데이터 매니폴드 위에서의 Lipschitz 연속성을 일관성 항으로 강제하는 것이 WGAN 학습 안정성과 샘플 품질을 개선하는가?
• RQ2 제안된 CT 항이 그래디언트 패널티를 보완하여 한정된 라벨 데이터에서 더 나은 반지도학습 성능을 얻을 수 있는가?
• RQ3 표준 벤치마크(MNIST, CIFAR-10)에서 비지도 및 반지도 설정 모두에서 CT-GAN이 기존 GAN 기반 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 저데이터 데이터 규칙에서 과적합을 줄이고 데이터 효율성을 유지하는가?

주요 결과

• CT-GAN은 CIFAR-10과 MNIST에서 GP-WGAN보다 더 사진처럼 현실적인 샘플을 생성합니다.
• 이 방법은 과적합이 감소하고 GP-WGAN이 포화되는 테스트 데이터에서 지속적으로 개선을 보입니다.
• CT-GAN은 비지도 및 반지도 설정에서 CIFAR-10에 대해 최첨단 인셉션 점수를 달성합니다(이전 GAN 기반 결과를 넘어서는 인셉션 점수 예시 포함).
• 라벨이 4,000에 불과한 CIFAR-10의 반지도 학습에서 CT-GAN은 9.98%의 테스트 오차로 다수의 경쟁 GAN 기반 SSL 방법을 앞섰습니다.
• MNIST에서 CT-GAN은 다른 방법에 비해 경쟁력 있는 반지도 테스트 오차(0.89% ± 0.13)를 달성합니다.
• 정성적 결과는 GP-WGAN에 비해 다양한 네트워크 아키텍처에서 더 깔끔하고 일관된 샘플을 보여줍니다.