[논문 리뷰] Lipschitz Generative Adversarial Nets

Zhiming Zhou, Jiadong Liang외 6명|arXiv (Cornell University)|2019. 02. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 38

한 줄 요약

이 논문은 Lipschitz GANs (LGANs)를 discriminator의 Lipschitz 상수를 페널티로 가짐으로써 최적의 디스크리미네이터의 존재/유일성 및 Nash 평형을 입증하고, WGAN에 비해 안정성과 샘플 품질이 향상되었음을 보이며 광범위한 실험적 검증을 제공한다.

ABSTRACT

In this paper, we study the convergence of generative adversarial networks (GANs) from the perspective of the informativeness of the gradient of the optimal discriminative function. We show that GANs without restriction on the discriminative function space commonly suffer from the problem that the gradient produced by the discriminator is uninformative to guide the generator. By contrast, Wasserstein GAN (WGAN), where the discriminative function is restricted to 1-Lipschitz, does not suffer from such a gradient uninformativeness problem. We further show in the paper that the model with a compact dual form of Wasserstein distance, where the Lipschitz condition is relaxed, may also theoretically suffer from this issue. This implies the importance of Lipschitz condition and motivates us to study the general formulation of GANs with Lipschitz constraint, which leads to a new family of GANs that we call Lipschitz GANs (LGANs). We show that LGANs guarantee the existence and uniqueness of the optimal discriminative function as well as the existence of a unique Nash equilibrium. We prove that LGANs are generally capable of eliminating the gradient uninformativeness problem. According to our empirical analysis, LGANs are more stable and generate consistently higher quality samples compared with WGAN.

연구 동기 및 목표

• GAN에서 그래디언트 정보성을 동기 부여하고 그래디언트 비정보성을 핵심 학습 이슈로 식별한다.
• Discriminator의 규칙성을 강화하기 위해 Lipschitz 패널티 항을 포함한 LGANs를 제안한다.
• Lipschitz 제약 하에서 최적의 디스크리미네이터의 존재성과 유일성, 고유한 Nash 평형을 수립한다.
• LGANs가 그래디언트 비정보성을 제거하고 생성기를 실제 분포로 이끈다는 것을 보인다.
• WGAN과 비교하여 안정성과 샘플 품질이 향상됨을 실험적으로 입증한다.

제안 방법

• 판별자 목표에 Lipschitz 페널티 항 lambda * k(f)^2를 추가하여 LGANs를 정의한다.
• 보통의 손실 함수 조건을 채택한다: phi' > 0, varphi' < 0, 2차 도함수가 비음수이며, phi'(a)+varphi'(a)=0인 점 a를 가진다.
• 이 손실과 Lipschitz 페널티를 만족시키는 경우 f*의 존재/유일성을 보인다(정리 1).
• LGANs 하의 경계 관계 및 그래디언트 방향을 특성화한다(정리 2–4).
• Lipschitz 상수를 직접 페널티하는 MaxGP와 같은 실용적 정규화 접근법을 논의한다(샘플링 보간 및 최대 그래디언트).
• LGANs와 WGAN을 비교하는 실증 분석을 수행하여 그래디언트 동작, 안정성 및 비감독 이미지 생성 벤치마크를 포함한다.]
• research_questions: [
• Do Lipschitz constraints resolve gradient uninformativeness in GAN discriminators and ensure informative generator updates?
• LGANs가 최적의 디스크리미네이터의 존재/유일성 및 P_r과 P_g를 연결하는 고유한 Nash 평형을 보장할 수 있는가?
• LGANs가 표준 벤치마크에서 Wasserstein 기반 GAN보다 더 안정적인 학습과 더 높은 품질의 샘플을 제공하는가?

실험 결과

연구 질문

• RQ1 LGANs가 GAN 구별자의 그래디언트 비정보성을 해결하고 정보성 있는 생성자 업데이트를 보장하는가?
• RQ2 LGANs가 최적의 디스크리미네이터의 존재/유일성 및 P_r과 P_g를 연결하는 고유한 Nash 평형을 보장하는가?
• RQ3 LGANs가 표준 벤치마크에서 Wasserstein 기반 GAN보다 더 안정적인 학습과 더 높은 품질의 샘플을 제공하는가?

주요 결과

• LGANs는 약한 손실 조건과 Lipschitz 페널티 하에서 최적 판별 함수의 존재와 유일성을 보인다(정리 1).
• LGANs는 P_r = P_g이고 Lipschitz 상수 k(f*) = 0인 고유한 Nash 평형을 수립한다(정리 2 & 4).
• LGANs 하에서 최적의 디스크리미네이터는 생성된 샘플에 대한 그래디언트 방향이 실제 샘플을 가리키도록 하여 그래디언트 비정보성을 완화한다(정리 2–4).
• 실험 결과 LGANs가 WGAN에 비해 일반적으로 더 안정적이고 비감독 이미지 생성 작업에서 더 높은 품질의 샘플을 생성하며, 여러 손실 함수 선택이 좋은 성능을 보인다(Table 2).
• MaxGP 및 관련 Lipschitz 인식 패널티는 학습을 안정화시키고 실제로 다른 정규화기보다 우수할 수 있다(MaxGP 논의).
• 다양한 phi/varphi 손실을 사용하는 LGANs(exp, -log(σ(-x)), 및 x+sqrt(x^2+1) 포함)은 CIFAR-10 및 Tiny ImageNet에서 바람직한 IS/FID 점수를 달성한다.