[논문 리뷰] A Mathematical Introduction to Generative Adversarial Nets (GAN)

yuanming wang|arXiv (Cornell University)|2020. 09. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 15

한 줄 요약

이 논문은 수학에 기반한 독자를 대상으로 생성적 적대 신경망(GANs)에 대한 수학적으로 엄밀한 소개를 제공한다. GANs를 데이터 분포 μ를 근사하는 방법으로 프레임워크화하며, 이는 생성자 네트워크 ν가 μ의 밀도를 모방함으로써 이루어진다. 논문은 최소-최대 최적화 문제를 통한 적대적 훈련 과정을 강조하며, 분포 근사 및 생성 모델링 원리 측면에서 GANs와 변분 오토에인드어( variational autoencoders, VAEs)를 대비한다.

ABSTRACT

Generative Adversarial Nets (GAN) have received considerable attention since the 2014 groundbreaking work by Goodfellow et al. Such attention has led to an explosion in new ideas, techniques and applications of GANs. To better understand GANs we need to understand the mathematical foundation behind them. This paper attempts to provide an overview of GANs from a mathematical point of view. Many students in mathematics may find the papers on GANs more difficulty to fully understand because most of them are written from computer science and engineer point of view. The aim of this paper is to give more mathematically oriented students an introduction to GANs in a language that is more familiar to them.

연구 동기 및 목표

• 컴퓨터 과학/공학 중심의 GAN 문헌과 수학적 형식주의 사이의 격차를 메우기 위해, 학부생 및 수학 분야 연구자들을 대상으로 GANs에 대한 수학적으로 탄탄한 소개를 제공하는 것.
• 유한한 샘플들로부터 확률 분포 μ를 학습하는 것으로 생성 모델링 문제를 수식화하며, 그 목표는 생성자 분포 ν를 통해 μ를 근사하는 것이다.
• 거리 척도가 아닌 분포 유사성, 즉 통계적 발산 측면에서 ν가 μ에 가까워야 한다는 개념을 명확히 하는 것.
• 생성 메커니즘, 손실 함수 설계, 그리고 기초 확률적 가정 측면에서 GANs와 변분 오토에인드어(VAEs)의 차이를 부각하는 것.
• 데이터 분포 μ에 대한 절대 연속성(밀도 존재성) 가정이 GAN 프레임워크에서 본질적이지 않으며, 이를 완화시킬 수 있음을 보여주는 것.

제안 방법

• GAN 프레임워크를 최소-최대 최적화 문제로 수식화: min_G max_D V(D, G) = E_{x~μ}[log D(x)] + E_{z~p_z}[log(1 - D(G(z)))], 여기서 D는 판별자이고 G는 생성자이다.
• 훈련 데이터 세트 X ⊂ ℝⁿ을 밀도 p(x)를 가진 확률 분포 μ로부터 취한 유한한 샘플들로 정의하며, μ를 근사하는 생성자 분포 ν의 밀도 q(x)를 학습하고자 한다.
• 특히 젠슨-섀논 발산을 포함한 f-발산을 통한 분포 유사성 개념을 도입하며, GANs는 이 발산을 적대적 훈련을 통해 최소화하고자 한다.
• 스토케스틱한 잠재 변수를 통해 역전파를 가능하게 하는 재패arameterization 트릭을 설명하며, 인코더와 디코더의 엔드 투 엔드 훈련을 가능하게 한다.
• VAE의 손실 함수를 재구성 오차(MSE 또는 BCE)와 학습된 잠재 분포와 표준 정규 사전 분포 사이의 KL-발산의 합으로 제시한다.
• 다변수 정규분포 간 KL-발산의 명시적 공식을 사용하여 VAE 목표 함수의 정규화 항을 계산함으로써, 미분 가능한 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주어진 훈련 데이터 포인트 집합과 '유사한' 새로운 데이터를 생성하는 문제를 어떻게 수학적으로 형식화할 수 있는가?
• RQ2 GAN 프레임워크에서 판별자와 생성자의 역할은 무엇이며, 이들의 적대적 상호작용은 어떻게 분포 근사를 이끌어내는가?
• RQ3 모드 붕괴와 같은 문제에도 불구하고, 데이터 분포 μ의 절대 연속성 가정이 GANs에서 본질적인 제약가 아니라고 보는 이유는 무엇인가?
• RQ4 특히 최적화 목표 함수와 잠재 변수 모델링 측면에서, VAE 프레임워크는 GANs와 어떻게 다를까?
• RQ5 VAE의 재패arameterization 트릭과 KL-발산 정규화의 수학적 근거는 무엇인가?

주요 결과

• GAN 프레임워크는 생성자와 판별자 사이의 최소-최대 게임으로 엄밀하게 수식화될 수 있으며, 온건한 조건 하에서 최적의 생성자 분포 ν는 진정한 데이터 분포 μ로 수렴한다.
• 논문은 μ가 밀도를 가져야 한다는 조건이 GAN 프레임워크에서 필수적이지 않음을 보여주며, 적대적 메커니즘이 여전히 특이적이거나 저차원 분포를 근사할 수 있음을 밝힌다.
• VAEs는 재구성 오차와 근사 사후 분포 및 표준 정규 사전 분포 사이의 KL-발산을 합친 손실을 최소화함으로써 생성 모델링을 달성하며, 재패arameterization 트릭을 통해 미분 가능한 훈련이 가능하다.
• VAE 손실 함수는 L_VAE = L₁(μ,σ,G) + λ·L₂(μ,σ)로 명시적으로 유도되며, 여기서 L₁은 기대 재구성 오차이고 L₂는 정규 분포에 대해 닫힌 형태의 표현을 가진 KL-발산 항이다.
• 재패arameterization 트릭은 z = μ(x) + σ(x) ⊙ ε (ε ~ N(0,1))로 표현함으로써, 손실 함수의 기댓값을 미분 가능하게 하여 스토케스틱한 잠재 변수를 통해 역전파를 가능하게 한다.
• 최적화 목표 함수의 차이에도 불구하고, GANs와 VAEs는 모두 훈련 데이터와 통계적으로 유사한 새로운 데이터 샘플을 생성할 수 있는 잠재 표현을 학습하는 것을 목표로 한다.