[논문 리뷰] Geometric GAN

Jae Hyun Lim, Jong Chul Ye|arXiv (Cornell University)|2017. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 62

한 줄 요약

기하학적 GAN은 GAN 학습을 세 가지 기하학적 단계로 재구성하고 최대 여유를 가진 SVM 기반 분리 초평면을 도입하여 Nash 균형으로의 수렴과 안정성 및 성능 향상을 보여준다.

ABSTRACT

Generative Adversarial Nets (GANs) represent an important milestone for effective generative models, which has inspired numerous variants seemingly different from each other. One of the main contributions of this paper is to reveal a unified geometric structure in GAN and its variants. Specifically, we show that the adversarial generative model training can be decomposed into three geometric steps: separating hyperplane search, discriminator parameter update away from the separating hyperplane, and the generator update along the normal vector direction of the separating hyperplane. This geometric intuition reveals the limitations of the existing approaches and leads us to propose a new formulation called geometric GAN using SVM separating hyperplane that maximizes the margin. Our theoretical analysis shows that the geometric GAN converges to a Nash equilibrium between the discriminator and generator. In addition, extensive numerical results show that the superior performance of geometric GAN.

연구 동기 및 목표

• GAN과 그 변형들 아래에 담긴 통합된 기하학적 구조를 밝힌다.
• 판별자와 생성자 업데이트가 분리 초평면을 기준으로 이동하는 것으로 해석될 수 있음을 설명한다.
• 최대 여유를 갖는 SVM 분리 초평면을 사용하는 기하학적 GAN을 제안한다.
• Nash 균형으로의 수렴에 대한 이론적 보장을 제공한다.
• 합성 및 실제 데이터셋에 걸쳐 기존 GAN 변형들에 비해 실험적 이점을 입증한다.

제안 방법

• 세 가지 기하학적 단계로 GAN 변형을 해석한다: 분리 초평면 탐색, 초평면에서 벗어나기 위한 판별자 업데이트, 초평면의 법선 방향으로의 생성자 업데이트.
• 특징 공간에서 진짜 샘플과 가짜 샘플 사이의 여유를 최대화하기 위해 소프트 마진 SVM을 분리 초평면으로 채택한다.
• 판별자와 생성자 업데이트를 SVM 마진에 연계된 기하학 기반 스케일링 인자가 포함된 SGD 스텝으로 공식화한다.
• p_g*가 p_x와 같고 목적함수가 일정한 값을 가지는 Nash 균형으로의 수렴을 보인다.
• 안정성과 모드 붕괴 감소를 보여주기 위해 가우시안 혼합 및 이미지 데이터셋에 대한 실험적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 분리 초평면을 이용한 기하학적 해석이 GAN 변형들을 통일하고 그 동작을 설명할 수 있는가?
• RQ2 표준 판별기를 SVM 기반의 최대 마진 초평면으로 대체하는 것이 Nash 균형으로의 수렴을 보장하는가?
• RQ3 실제로 기하학적 GAN이 GAN, WGAN, McGAN에 비해 모드 붕괴를 줄이고 안정성을 향상시키는가?
• RQ4 HDLSS 설정에서 기하학적 스케일링 인자가 판별자 및 생성자 업데이트에 어떤 영향을 미치는가?
• RQ5 합성 및 실제 데이터에서 기하학적이고 마진을 최대화하는 접근이 어떤 실질적 이점을 제공하는가?

주요 결과

• 기하학적 GAN은 적대적 학습이 Nash 균형에서 p_g* = p_x이고 R(D*,G*) = 2가 되는 수렴 프레임워크를 제공한다.
• 최대 마진을 갖는 SVM 기반 분리 초평면은 더 명확한 기하학적 직관과 판별자 및 생성자의 안정적인 업데이트를 제공한다.
• 가우시안 혼합에 대한 실험적 결과는 GAN, WGAN, McGAN 변형에 비해 모드 붕괴가 덜하고 Lipschitz 제약 하에서 더 강건한 수렴을 보인다.
• MNIST, CelebA, LSUN에서의 질적 결과는 모드 붕괴나 발산 없이 현실적인 샘플 생성을 보여준다.
• 기하학 기반 업데이트(스케일링 인자를 포함)는 기존 GAN 변형에 자연스럽게 확장되어 통합 해석과 잠재적 안정성 이점을 제공한다.