[논문 리뷰] Theoretical guarantees for sampling and inference in generative models with latent diffusions

Belinda Tzen, Maxim Raginsky|arXiv (Cornell University)|2019. 03. 05.

Bayesian Methods and Mixture Models참고 문헌 40인용 수 13

한 줄 요약

이 논문은 확률적 제어를 통해 샘플링과 추론을 통합함으로써 잠재 확산 생성 모델에서의 이론적 보장을 수립한다. 신경망 기반의 드리프트가 ε-KL 발산 내에서 목표 분포를 효율적으로 근사할 수 있음을 증명하고, 무작위 깊이를 가진 딥 생성 모델을 사용하여 분산이 유계인 추정기와 함께 비편향 시뮬레이션 방법을 제안한다.

ABSTRACT

We introduce and study a class of probabilistic generative models, where the latent object is a finite-dimensional diffusion process on a finite time interval and the observed variable is drawn conditionally on the terminal point of the diffusion. We make the following contributions: We provide a unified viewpoint on both sampling and variational inference in such generative models through the lens of stochastic control. We quantify the expressiveness of diffusion-based generative models. Specifically, we show that one can efficiently sample from a wide class of terminal target distributions by choosing the drift of the latent diffusion from the class of multilayer feedforward neural nets, with the accuracy of sampling measured by the Kullback-Leibler divergence to the target distribution. Finally, we present and analyze a scheme for unbiased simulation of generative models with latent diffusions and provide bounds on the variance of the resulting estimators. This scheme can be implemented as a deep generative model with a random number of layers.

연구 동기 및 목표

• 확률적 제어 프레임워크를 통해 잠재 확산 생성 모델에서의 샘플링과 변분 추론을 통합하기 위해.
• 신경망 기반 드리프트가 Kullback–Leibler 발산에서 목표 분포의 ε-근사치를 달성할 수 있음을 보여줌으로써, 확산 기반 모델의 표현 능력을 정량화하기 위해.
• 엄밀한 분산 유계 조건을 갖춘 잠재 확산 모델에 대한 비편향 시뮬레이션 방법 개발하기 위해.

제안 방법

• 기준 확산의 드리프트를 조정하여 목표 종료 분포와 일치시키는 확률적 제어 문제를 수립한다.
• 자유 에너지 기능을 최소화함으로써 도출된 Föllmer 드리프트를 최적 제어로 사용하여 정확한 샘플링을 구현한다.
• 로그우도의 상한을 최소화함으로써 변분 추론을 적용하며, 제어 비용이 정규화 요소로 작용한다.
• 드리프트의 매개변수 함수 클래스로 신경망을 사용하여 복잡한 목표 분포를 효율적으로 근사할 수 있도록 한다.
• 무작위 층 수를 가진 딥 생성 모델 아키텍처를 통해 비편향 시뮬레이션 방법을 개발하고, 부분적 적분 및 모멘트 생성 함수 기법을 사용하여 분산 유계를 도출한다.
• 가우스 부분적 적분 공식과 Mittag–Leffler 함수의 성질을 활용하여 추정기의 균일 적분 가능성과 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 잠재 확산 모델에서의 샘플링과 변분 추론는 어떻게 단일 확률적 제어 프레임워크 아래 통합될 수 있는가?
• RQ2 드리프트가 딥 신경망에 의해 매개변수화될 경우, 확산 기반 생성 모델의 표현 능력은 어떠한가?
• RQ3 엄밀한 분산 유계 조건을 갖춘 잠재 확산 모델에 대해 비편향 추정기를 구성할 수 있는가?
• RQ4 드리프트 매개변수화의 선택은 종료 분포와 목표 분포 간의 KL 발산에 어떤 영향을 미치는가?
• RQ5 제안된 비편향 시뮬레이션 방법의 수렴성과 적분 가능성 보장 조건은 무엇인가?

주요 결과

• Föllmer 드리프트는 종료 시점에 목표 분포에서 정확한 샘플링을 가능하게 하는 최적 제어 전략을 제공하며, 제어 비용은 수행된 작업을 정량화한다.
• 신경망에 의해 매개변수화된 드리프트는 어떤 목표 분포라도 ε-KL 발산 내에서 근사할 수 있으며, 이는 확산 기반 생성 모델의 표현력을 입증한다.
• 변분 추론 목표는 제어 비용 최소화 문제로 유도되며, 이는 실용적인 최적화 프레임워크를 제공한다.
• 무작위 층 수를 가진 아키텍처를 통해 비편향 시뮬레이션 방법을 구성하였으며, 이로 유도된 추정기의 분산은 Mittag–Leffler 함수의 함수로 유계이다.
• 추정기의 수열이 균일 적분 가능하다는 것이 입증되었으며, 이는 적절한 모멘트 조건 하에서 수렴성을 보장한다.
• 부분적 적분 및 모멘트 생성 함수 기법을 사용하여 분산 유계를 도출하였으며, 최종 유계는 Mittag–Leffler 함수로 표현된다.