[논문 리뷰] Deep Generative Learning via Variational Gradient Flow

Yuan Gao, Yuling Jiao외 4명|arXiv (Cornell University)|2019. 01. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 4

한 줄 요약

이 논문은 확률 공간에서의 기울기 흐름을 통해 단순한 사전 분포를 목표 데이터 분포로 변환하는 데 목적이 있는 새로운 딥 생성 모델링 프레임워크인 변분 기울기 흐름(VGrow)을 제안한다. 밀도 비율 추정에서 유도된 벡터장에 의해 f-발산의 제1변화를 최소화함으로써, VGrow는 최신 GAN과 경쟁 가능한 안정적이고 고해상도의 이미지 생성을 달성한다. 이는 새로운 'logD' 발산을 기반으로 하며, logD-트릭 GAN의 근간이 된다.

ABSTRACT

We propose a general framework to learn deep generative models via extbf{V}ariational extbf{Gr}adient Fl extbf{ow} (VGrow) on probability spaces. The evolving distribution that asymptotically converges to the target distribution is governed by a vector field, which is the negative gradient of the first variation of the $f$-divergence between them. We prove that the evolving distribution coincides with the pushforward distribution through the infinitesimal time composition of residual maps that are perturbations of the identity map along the vector field. The vector field depends on the density ratio of the pushforward distribution and the target distribution, which can be consistently learned from a binary classification problem. Connections of our proposed VGrow method with other popular methods, such as VAE, GAN and flow-based methods, have been established in this framework, gaining new insights of deep generative learning. We also evaluated several commonly used divergences, including Kullback-Leibler, Jensen-Shannon, Jeffrey divergences as well as our newly discovered `logD' divergence which serves as the objective function of the logD-trick GAN. Experimental results on benchmark datasets demonstrate that VGrow can generate high-fidelity images in a stable and efficient manner, achieving competitive performance with state-of-the-art GANs.

연구 동기 및 목표

• 변분 추론, 확률 공간에서의 기울기 흐름, 딥 신경망을 통합한 통합된 딥 생성 모델링 프레임워크를 개발하는 것.
• f-발산의 제1변화의 음의 기울기를 기반으로 하는 연속적인 흐름으로 학습 과정을 정식화함으로써 딥 생성 모델의 훈련을 안정화하는 것.
• VAE, GAN, 노멀라이징 플로우와 같은 기존 방법들과 VGrow 간의 이론적 및 실용적 연결 고리를 확립하는 것.
• 최근 발견된 'logD' 발산을 포함한 새로운 발산을 탐색하여 생성 모델링의 효과적인 목적함수로 활용하는 것.
• MNIST, FashionMNIST, CIFAR10, CelebA와 같은 벤치마크 데이터셋에서 고해상도이고 안정적인 이미지 생성을 달성하는 것.

제안 방법

• 진행 중인 분포를 진동하는 분포와 목표 분포 간의 f-발산의 제1변화의 음의 기울기인 벡터장에 따라 진화시킨다.
• 진행 중인 분포가 벡터장에 따라 정규화된 잔여 맵으로 정규화된 항등사상에 대한 미세한 변형을 거쳐 유도된 보존 분포와 일치함을 보여준다.
• 벡터장은 보존 분포와 목표 분포 간의 밀도 비율에 의존하며, 이는 이진 분류 작업을 통해 추정된다.
• 이 프레임워크는 VAE( KL 발산을 통해), GAN( JS 발산을 통해), 플로우 기반 모델(정확한 KL 최소화를 통해)을 하나의 변분 기울기 흐름 관점에서 일반화하고 통합한다.
• 새로운 발산인 'logD'가 유도되었으며, 이는 logD-트릭 GAN의 근간이 되며 기존 GAN 목표함수에 대한 이론적으로 타당한 대안을 제공한다.
• 외부 루프 IS-루프 최적화 전략을 사용하여 학습하며, 안정성 및 성능 평가를 위해 인ception 스코어와 FID를 평가한다.

실험 결과

연구 질문

• RQ1 확률 공간에서의 연속적인 기울기 흐름은 안정적이고 효율적인 방식으로 딥 생성 모델을 학습하는 데 어떻게 활용될 수 있는가?
• RQ2 변분 기울기 흐름과 기존의 딥 생성 모델들(예: VAE, GAN, 노멀라이징 플로우) 사이의 이론적 연결 고리는 무엇인가?
• RQ3 최근 발견된 'logD' 발산은 효과적으로 GAN의 학습 목표함수로 사용될 수 있는가?
• RQ4 제안된 VGrow 프레임워크는 표준 벤치마크에서 최신 GAN과 비교해 성능과 안정성 면에서 어떻게 다른가?
• RQ5 이진 분류를 통한 밀도 비율 추정은 얼마나 안정적인 딥 생성 모델 훈련을 가능하게 하는가?

주요 결과

• MNIST, FashionMNIST, CIFAR10에서 VGrow는 인ception 스코어가 계속 증가하는 안정적인 훈련을 달성하여 지속적인 학습 진전을 보였다.
• MNIST와 FashionMNIST에서 VGrow-JS는 FID 스코어가 각각 3.32와 8.75를 기록했으며, 실제 데이터의 FID 스코어인 2.12와 4.16에 매우 가까운 수준이었다.
• 5만 개의 생성 샘플을 사용한 CIFAR10에서 VGrow-logD는 FID 스코어 28.8을 기록했으며, WGAN-GP(31.1)와 MMDGAN-GP-L2(31.4)를 능가했고, 최고 보고된 스코어 28.5에 가까워졌다.
• VGrow-KL 모델은 모든 데이터셋에서 시각적으로 현실적인 샘플을 생성했으며, 생성된 이미지는 클래스별로 쉽게 식별 가능했고 많은 경우 실제 이미지와 구분되지 않았다.
• KL, JS, JF, 그리고 최신으로 도입된 logD를 포함한 다양한 발산에 대해 강건한 성능을 보이며 일관된 성능 향상을 보였다.
• 이론적 분석을 통해 VGrow 하에서 진행 중인 분포가 무한소 잔여 맵을 통한 사전 분포의 보존과 동일하다는 것이 확인되었으며, 이는 이론적 기반을 탄탄하게 한다.