[논문 리뷰] On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow

Youssef Mroueh, Truyen Nguyen|arXiv (Cornell University)|2020. 11. 04.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 생성기 분포의 통계다양체 위에 새로운 리만 기하학적 구조를 도입하여 MMD GANs의 경사하강법이 목표 데이터 분포로의 전역 수렴을 보장하는 매개변수화된 커널화된 경사 흐름을 제안한다. 주요 기여는 MMD_{\alpha,\beta} 증거 함수를 사용한 경사하강법이 이 새로운 기하학적 프레임워크 하에서 MMD 기능의 경사 흐름과 동일시됨을 보여주는 것으로, 명시적인 조건 하에서 점근적이지 않은 수렴 보장을 제공한다.

ABSTRACT

We consider the maximum mean discrepancy ($\\mathrm{MMD}$) GAN problem and propose a parametric kernelized gradient flow that mimics the min-max game in gradient regularized $\\mathrm{MMD}$ GAN. We show that this flow provides a descent direction minimizing the $\\mathrm{MMD}$ on a statistical manifold of probability distributions. We then derive an explicit condition which ensures that gradient descent on the parameter space of the generator in gradient regularized $\\mathrm{MMD}$ GAN is globally convergent to the target distribution. Under this condition, we give non asymptotic convergence results of gradient descent in MMD GAN. Another contribution of this paper is the introduction of a dynamic formulation of a regularization of $\\mathrm{MMD}$ and demonstrating that the parametric kernelized descent for $\\mathrm{MMD}$ is the gradient flow of this functional with respect to the new Riemannian structure. Our obtained theoretical result allows ones to treat gradient flows for quite general functionals and thus has potential applications to other types of variational inferences on a statistical manifold beyond GANs. Finally, numerical experiments suggest that our parametric kernelized gradient flow stabilizes GAN training and guarantees convergence.

연구 동기 및 목표

• MMD GANs에서 경사하강법의 분포 수렴 성질을 이해하는 것. 이는 실용적 성공에도 불구하고 여전히 잘 이해되지 않고 있다.
• 특히 MMD 기반 목표 함수를 고려할 때, GANs에서 경사하강법에 대한 엄밀한 수렴 분석의 부족을 해결하는 것.
• 입력 공간이 아닌 생성기 매개변수에 대해 작용하는 새로운 매개변수화된 에너지 정규화자 MMD_{\alpha,\beta}를 도입하는 것.
• 통계다양체 위에서 MMD의 동적 표현을 유도하고, 경사 흐름을 정의하기 위한 새로운 리만 메트릭 d_{\alpha,\beta}를 정의하는 것.
• 명시적인 조건 하에서 MMD GANs의 경사하강법에 대해 점근적이지 않은 수렴 결과를 확립하는 것.

제안 방법

• MMD_{\alpha,\beta} 증거 함수를 내림방향으로 사용하여, 경사정규화된 MMD GANs의 최소-최대 게임을 모방하는 매개변수화된 커널화된 경사 흐름을 제안한다.
• 입력 공간이 아닌 생성기 매개변수에 대해 미분을 취하는 방식으로 정의된 새로운 정규화자 MMD_{\alpha,\beta}를 도입한다.
• 통계다양체 위에서 MMD의 동적 표현을 유도하고, 새로운 기하학적 구조를 정의하기 위해 리만 메트릭 텐서 d_{\alpha,\beta}를 구성한다.
• MMD_{\alpha,\beta} 증거 함수에 의해 이끄는 MMD GANs의 경사하강법 흐름이 d_{\alpha,\beta} 메트릭 하에서 MMD 기능의 경사 흐름과 정확히 동일시됨을 보여준다.
• 고유값과 커널 매개변수에 대한 조건 하에서, 흐름 沿해 MMD 기능의 감쇠를 분석함으로써 점근적이지 않은 수렴 한계를 확립한다.
• MMD_{\alpha,\beta} 목표 함수의 미니배치 추정치를 사용하여, 증거 함수(v 또는 p)와 생성기 매개변수(θ)에 대해 RMSProp 업데이트를 적용하는 이산 알고리즘을 활용한다.

실험 결과

연구 질문

• RQ1 MMD GANs에서 경사하강법이 목표 데이터 분포로 전역 수렴하는 조건은 무엇인가?
• RQ2 통계다양체 위에서 생성기 분포의 MMD 기능에 대해 내림내림을 보장하는 매개변수화된 커널화된 경사 흐름을 구성할 수 있는가?
• RQ3 MMD GANs의 경사하강법이 그 기하학적 구조 하에서 경사 흐름으로 표현될 수 있는 통계다양체 위의 리만 기하학적 구조가 존재하는가?
• RQ4 제안된 MMD_{\alpha,\beta} 정규화자는 기존의 MMD GANs에 비해 훈련 안정성과 수렴성에 어떻게 기여하는가?
• RQ5 제안된 기하학적 프레임워크 하에서 MMD GANs의 경사하강법의 점근적이지 않은 수렴 속도는 무엇인가?

주요 결과

• 조건 α‖D_θ u_t‖_ℋ² + β⟨u_t, D_θ u_t⟩_ℋ = 0 가 성립할 경우, MMD GANs에서의 경사하강법은 목표 분포로 전역 수렴한다. 이는 D_θ h_θ = 0 와 동치이다.
• 제안된 새로운 리만 메트릭 d_{\alpha,\beta} 하에서, MMD에 대한 매개변수화된 커널화된 경사 흐름은 정확히 MMD 기능의 경사 흐름과 일치한다.
• 점근적이지 않은 수렴이 다음과 같은 감쇠 추정치를 통해 확립된다: log(ℱ(q_θ_t)/ℱ(q_θ_0)) ≤ -∫₀ᵗ [λ_i(θ_s)a(θ_s,u_s)γ(θ_s)] / [αλ_i(θ_s)a(θ_s,u_s) + β] ds.
• 수렴 속도는 고유값 λ_i(θ_s), 커널 정렬도 a(θ_s,u_s), 곡률 매개변수 γ(θ_s)에 따라 달라지며, 이들이 클수록 감쇠가 더 빠르다.
• 수치 실험 결과, 제안된 흐름이 훈련을 안정화시키고 특히 α > 0일 때 모드 붕괴를 방지함을 보여주며, 기존의 MMD GANs(α = 0)와는 대조된다.
• 증거 함수가 깊은 신경망(학습된 커널)인 경우에도 이 방법이 잘 작동함을 확인하여, 신경장점 커널 영역으로의 일반화 가능성을 시사한다.