[논문 리뷰] Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities

Guo-Jun Qi|arXiv (Cornell University)|2017. 01. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 140

한 줄 요약

손실-민감 GAN(LS-GAN)을 Lipschitz-정규화된 데이터 밀도와 함께 소개하고, 분포 일관성과 일반화를 증명하며, 확장된 Generalized LS-GAN(GLS-GAN) 및 Conditional LS-GAN(CLS-GAN)으로 확장한다.

ABSTRACT

In this paper, we present the Lipschitz regularization theory and algorithms for a novel Loss-Sensitive Generative Adversarial Network (LS-GAN). Specifically, it trains a loss function to distinguish between real and fake samples by designated margins, while learning a generator alternately to produce realistic samples by minimizing their losses. The LS-GAN further regularizes its loss function with a Lipschitz regularity condition on the density of real data, yielding a regularized model that can better generalize to produce new data from a reasonable number of training examples than the classic GAN. We will further present a Generalized LS-GAN (GLS-GAN) and show it contains a large family of regularized GAN models, including both LS-GAN and Wasserstein GAN, as its special cases. Compared with the other GAN models, we will conduct experiments to show both LS-GAN and GLS-GAN exhibit competitive ability in generating new images in terms of the Minimum Reconstruction Error (MRE) assessed on a separate test set. We further extend the LS-GAN to a conditional form for supervised and semi-supervised learning problems, and demonstrate its outstanding performance on image classification tasks.

연구 동기 및 목표

• GAN의 일반화를 향상시키기 위해 데이터 밀도에 Lipschitz 조건을 부과하는 정규화를 동기로 삼는다.
• 실제 샘플의 순위를 생성된 샘플보다 낮게 매기도록 손실 함수를 학습한다. 여백(margin)을 사용한다.
• 손실 함수 학습과 제너레이터 최적화를 교대로 수행하는 학습 목표를 개발하여 평형에 도달하도록 한다.
• 정규화 매개변수가 커짐에 따라 LS-GAN이 실제 데이터 밀도에 수렴한다는 것을 보여준다.
• 일반화 가능한 broader 적용을 위해 GLS-GAN과 조건부 변형으로 프레임워크를 확장한다.

제안 방법

• 손실 함수 L_theta와 마진 기반 제약을 가진 제너레이터 G_phi를 정의한다: L_theta(x) <= L_theta(G_phi(z)) - Delta(x, G_phi(z)).
• 비음수 슬랙 xi를 사용하여 제약을 완화하고 공동 최적화한다: min_theta,xi E_{x~P_data}[L_theta(x)] + lambda E_{x,z}[xi_x,z] subject to L_theta(x) - xi_x,z <= L_theta(G_phi(z)) - Delta(x,G_phi(z)).
• LS-GAN 목표 S(theta, phi) = E_{x~P_data}[L_theta(x)] + lambda E_{x,z}[(Delta(x,G_phi(z)) + L_theta(x) - L_theta(G_phi(z)))_+].
• 제너레이터를 최적화하기 위한 보조 목표 T(theta, phi) = E_{z~P_z}[L_theta(G_phi(z))]를 정의한다.
• 리만 독립 일관성 증명: lambda -> infinity일 때, Lipschitz 데이터 밀도 가정하에서 P_G*이 P_data로 수렴한다(가정 1).
• GLS-GAN(Generalized LS-GAN)을 도입하고 비용 함수 C(a)가 C(a) >= a이고 C(a)=a for a>=0인 경우를 만족시키며 LS-GAN과 WGAN이 GLS-GAN의 특별한 경우임을 보인다.

실험 결과

연구 질문

• RQ1 Lipschitz-정규화된 데이터 밀도를 갖는 LS-GAN이 생성된 데이터의 밀도가 실제 데이터의 밀도와 일치하도록 보장하는가?
• RQ2 일반화 및 샘플 품질 측면에서 LS-GAN의 성능이 Wasserstein GAN 및 다른 규제 GAN과 비교하면 어떤가?
• RQ3 감독/반-감독 학습 작업을 위한 일반화(GLS-GAN) 및 조건부(CLS-GAN) 형태로 LS-GAN을 확장할 수 있는가?
• RQ4 Lipschitz 가정 하에서 LS-GAN의 일반화 경계 및 샘플 복잡도는 어떻게 되는가?
• RQ5 그래디언트 패널티를 통해 Lipschitz 상수를 제한하는 것이 학습 안정성 및 일반화를 향상시키는가?

주요 결과

• Lipschitz 밀도 규제 하에서 lambda가 커지면 LS-GAN이 생성된 샘플의 밀도가 실제 데이터 밀도에 수렴한다.
• Lipschitz 손실과 생성된 밀도 간의 Nash 균형이 존재하여 분포적 일관성을 보장한다(정리 1).
• 일반화 경계가 제공된다: 유한 샘플 S_m 및 T_k가 다이어그램에 따른 오라클 대응변수로 수렴하며 모델 크기와 Lipschitz 상수에 다항식 의존성을 가진다(정리 2 및 3).
• GLS-GAN은 LS-GAN 및 WGAN을 특수한 경우로 포괄하며, 서로 다른 비용 함수(C a)를 통해 규제 GAN의 계열을 제공한다.
• 그래디언트 패널티를 도입하여 Lipschitz 상수를 제한하고 샘플 복잡도를 감소시키며 안정성을 향상시킨다(섹션 5.2).
• CLS-GAN은 이미지 분류 작업에서 경쟁력 있는 성능을 보여 감독/반감독 학습 확장을 입증한다(섹션 8).