[논문 리뷰] Monge-Ampère Flow for Generative Modeling

Linfeng Zhang, E Weinan외 1명|arXiv (Cornell University)|2018. 09. 26.

Geometry and complex manifolds참고 문헌 25인용 수 43

한 줄 요약

Monge-Ampère flow를 도입한, 학습 가능한 퍼텐셜의 연속 시간 그래디언트 흐름을 따라 잠재-데이터 매핑이 이뤄지는 되돌릴 수 있는 흐름 기반 생성 모델로, tractable likelihoods 및 대칭성 통합을 가능하게 한다; MNIST 밀도 추정 및 Variational Ising 모델 계산을 시연한다.

ABSTRACT

We present a deep generative model, named Monge-Ampère flow, which builds on continuous-time gradient flow arising from the Monge-Ampère equation in optimal transport theory. The generative map from the latent space to the data space follows a dynamical system, where a learnable potential function guides a compressible fluid to flow towards the target density distribution. Training of the model amounts to solving an optimal control problem. The Monge-Ampère flow has tractable likelihoods and supports efficient sampling and inference. One can easily impose symmetry constraints in the generative model by designing suitable scalar potential functions. We apply the approach to unsupervised density estimation of the MNIST dataset and variational calculation of the two-dimensional Ising model at the critical point. This approach brings insights and techniques from Monge-Ampère equation, optimal transport, and fluid dynamics into reversible flow-based generative models.

연구 동기 및 목표

• Optimal transport and Monge-Ampère theory에서 영감을 받은 흐름 기반 생성 모델을 동기화한다.
• 생성기를 학습 가능한 퍼텐셜의 그래디언트 흐름으로 형식화하여 압축 가능한 유체가 대상 밀도에 도달하도록 안내한다.
• 해석 가능한 가능도와 효율적인 샘플링을 제공하는 동시에 대칭성 통합을 쉽게 할 수 있게 한다.
• 비지도 학습된 MNIST 밀도 추정 및 임계점에서 Ising 모델의 변분 계산에 이 접근법을 시연한다.]
• method.phone?

제안 방법

• 스칼라 Brenier 포텐셜 φ를 신경망으로 매개변수화하고 흐름 ẋ = ∇φ(x)를 정의한다.
• 밀도 진화를 ∂t p(x,t) + ∇·(p v) = 0에서 v = ∇φ(x)로 모델링한다.
• KL 발산 기반 목적함수를 사용하여 minφ I[p(x,T), q(x)]를 해결하는 최적 제어 문제로 학습한다.
• 고정 단계 RK4 적분기로 연속 시간 흐름을 이산화하고 단계를 깊은 잔차 네트워크로 해석한다.
• 흐름에 따라 로그 p(x,t)의 변화를 전파하고 자동 미분을 사용하여 로그 가능도를 계산한다.
• 대칭성 그룹 원소들에 걸쳐 포텐셜을 평균화하여 대칭성을 허용한다: φ(x) = (1/|G|) ∑φ̃(gx).
• φ에 단일 은닉층 신경망으로 구성된 경량화 구현을 시연하고 잠재적 확장에 대해 논의한다.

실험 결과

연구 질문

• RQ1 Monge-Ampère에서 영감을 받은 연속 시간 흐름이 되돌릴 수 있는 생성 모델에서 계산 가능한 가능도를 제공할 수 있는가?
• RQ2 학습 가능한 포텐셜이 압축 가능한 유체 흐름이 목표 분포를 일치시키도록 얼마나 효과적으로 안내할 수 있는가?
• RQ3 기존의 흐름 기반 모델과 비교하여 MNIST 밀도 추정에서 모델의 성능은 어떠한가?
• RQ4 대칭성 제약을 스칼라 포텐셜에 자연스럽게 부과하여 같은 확률로 대칭 관련 구성들을 생성할 수 있는가?
• RQ5 임계점에서 Ising 모델과 같은 통계 물리 모델의 변분 계산에서 이 프레임워크가 어떻게 작동하는가?

주요 결과

모델	시험 NLL
MA-Flow (Present)	1255.5±2.0
MA-Flow (Baseline comparison)
MADE	1380.8±4.8
Real NVP	1323.2±6.6
MAF	1300.5±1.7

• Monge-Ampère flow는 여러 기초 흐름 모델보다 더 낮은 테스트 NLL로 경쟁력 있는 MNIST 밀도 추정을 달성하면서도 대략 1/10 정도의 매개변수 수를 사용한다.
• 프레임워크는 해석 가능한 가능도와 순방향 및 역방향 패스를 비교적 동일한 비용으로 갖춘 되돌릴 수 있는 흐름을 제공한다.
• 대칭성 그룹 원소들에 걸쳐 포텐셜을 평균화하여 대칭성 제약을 자연스럽게 통합하고 대칭을 반영하는 샘플을 생성한다.
• Ising 모델 응용에서 역 KL 목표를 최소화하여 변분 자유 에너지를 하한하는 방식으로 작동하며 임계점에서 알려진 정확한 해에 근접한다.
• 생성된 Ising 구성은 다양하고 대칭적으로 일치하는 도메인을 보이며 특정 샘플에 대한 로그 가능도 평가를 지원한다.