[논문 리뷰] Approximation and Convergence Properties of Generative Adversarial Learning

Shuang Liu, Olivier Bousquet외 1명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 60

한 줄 요약

본 논문은 GANs를 위한 적대적 발산의 폭넓은 프레임워크를 도입하고, 판별기 클래스가 제한되거나 목적 함수가 엄격할 때 모멘트 매칭 및 수렴의 함의를 증명하며, 이러한 결과를 기존의 GAN 변형과 연결한다.

ABSTRACT

Generative adversarial networks (GAN) approximate a target data distribution by jointly optimizing an objective function through a "two-player game" between a generator and a discriminator. Despite their empirical success, however, two very basic questions on how well they can approximate the target distribution remain unanswered. First, it is not known how restricting the discriminator family affects the approximation quality. Second, while a number of different objective functions have been proposed, we do not understand when convergence to the global minima of the objective function leads to convergence to the target distribution under various notions of distributional convergence. In this paper, we address these questions in a broad and unified setting by defining a notion of adversarial divergences that includes a number of recently proposed objective functions. We show that if the objective function is an adversarial divergence with some additional conditions, then using a restricted discriminator family has a moment-matching effect. Additionally, we show that for objective functions that are strict adversarial divergences, convergence in the objective function implies weak convergence, thus generalizing previous results.

연구 동기 및 목표

• GAN 목표를 뒷받침하는 적대적 발산을 특징짓기 (GAN, f-GAN, MMD-GAN, WGAN, WGAN-GP, 그리고 규제된 OT 포함).
• 생성 분포에서 일반화된 모멘트 매칭을 유도하도록 판별기 클래스의 제한이 효과를 미치는 방식 분석.
• 엄격한 적대적 발산일 때 목표에서의 수렴이 대상 분포에 대한 약한 수렴으로 귀결됨을 보임.
• 신경망 판별기가 모멘트 매칭 특성을 유지하는 조건을 제시.
• 적대적 발산의 수렴과 분포 수렴의 표준 개념(약한 수렴, Wasserstein) 간의 관계를 설명.

제안 방법

• 적대적 발산을 tau(mu||nu) = sup_f in F E_{mu x nu}[f(x,y)]로 정의한다.
• opt_{tau,mu*}를 tau(mu*||nu) 최소화의 해집합으로 도입한다.
• 모든 mu*에 대해 opt_{tau,mu*} = {mu*}인 경우를 엄격한 적대적 발산으로 정의한다.
• 일부 조건 하에서 Theta 내에서 theta의 제한된 판별기가 E_mu[v_theta] = E_mu*[v_theta]를 의미하는 일반화된 모멘트 매칭을 암시함(정리 4).
• theta^mu_nu가 적절한 미분 가능성과 함께 int(Theta)에 위치하면 opt_{tau,mu*} = M_{mu*}임을 보임(정리 5).
• 선형 f-GANs 및 신경망 f-GANs에 대해 제약된/ NN 판별기에서 모멘트 매칭이 성립함을 보임(상관 관계 6).
• 엄격한 적대적 발산으로의 수렴이 생성 분포의 mu*에 대한 약한 수렴을 암시함을 보임(정리 10).
• 엄격한 발산과 Wasserstein 거리 간의 관계를 논하며, Wasserstein가 가장 약한 엄격한 적대적 발산 중 하나임을 시사함(상관 관계 12).

실험 결과

연구 질문

• RQ1 판별기_family의 제한이 GAN이 대상 분포를 근사하는 방식에 어떤 영향을 미치는가?
• RQ2 GAN 목표를 최소화하는 것이 표준 수렴 개념 하에서 대상 분포로의 수렴을 의미하는 조건은 무엇인가?
• RQ3 다양한 적대적 발산 간의 관계와 그것들이 수렴을 이끄는 강도는 어떠한가?
• RQ4 신경망 판별기가 판별기가 제한된 클래스이거나 부분적으로 학습될 때 모멘트 매칭 특성을 보존하는가?
• RQ5 f-GAN, MMD-GAN, WGAN 계열과 같은 GAN 변형들 간의 결과가 어떻게 일반화되는가?

주요 결과

• 특정 조건을 만족하는 적대적 발산은 제한된 판별기가 mu와 mu* 간의 일반화된 모멘트 매칭을 유도한다.
• 선형 f-GANs에서와 NN 기반 GANs의 경우, 생성 분포는 일반화된 모멘트 E_mu[psi] = E_mu*[psi]를 일치시켜야 한다.
• 엄격한 적대적 발산의 경우 목표의 최소값으로의 수렴이 생성 분포의 약한 수렴으로 귀결된다.
• Wasserstein-GAN은 엄격한 발산들 중 가장 약한 목적을 가지므로 tau에서의 수렴은 약한 수렴과 일치한다.
• 이 프레임워크는 GAN의 여러 목표(GAN, f-GAN, MMD-GAN, WGAN, WGAN-GP, 규제된 OT)를 적대적 발산 개념 아래 하나로 통합한다.
• 사소한 엄격한 적대적 발산은 프레임워크에서 가장 강하고, 반면 Wasserstein와 MMD는 가장 약한 엄격한 발산에 대응한다.