[论文解读] Deep Generative Learning via Schr\"{o}dinger Bridge

Gefei Wang, Yuling Jiao+3 more|arXiv (Cornell University)|Jun 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 58被引用 4

一句话总结

本文提出一种基于薛定谔桥框架的深度生成建模方法，通过熵最小化在参考分布与目标分布之间进行插值。通过使用深度得分模型和密度比模型估计时变漂移，并应用伊藤-丸山格式，该方法实现了对目标分布的一致收敛，实证结果表明其在图像生成、插值和图像修复任务上的性能与最先进GAN模型相当。

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrodinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the KullbackLeibler divergence. At the population level, this entropy interpolation is characterized via an SDE on [0, 1] with a time-varying drift term. At the sample level, we derive our Schrodinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrodinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrodinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

研究动机与目标

• 开发一种基于参考分布与目标分布之间熵插值的理论基础坚实的深度生成模型。
• 通过将问题表述为具有时变漂移的薛定谔桥过程，解决学习复杂目标分布的挑战。
• 在目标分布的温和光滑性假设下，确保所学习生成模型的一致性。
• 在图像插值和图像修复任务中展示该方法的有效性，凸显其在真实任务中的实用价值，而不仅限于合成数据。

提出的方法

• 将生成学习任务表述为最小化插值过程与时间T时目标分布之间的Kullback–Leibler散度。
• 将插值过程建模为[0,1]区间上的随机微分方程（SDE），其时变漂移项源自薛定谔桥框架。
• 使用在目标数据分布上训练的深度得分估计器来估计漂移项。
• 同时使用深度神经网络估计目标分布与参考分布之间的密度比。
• 利用估计的漂移项和扩散项，对SDE实施伊藤-丸山离散化以生成样本。
• 通过基于梯度的优化，端到端联合训练得分估计器与密度比估计器，以最小化KL散度目标。

实验结果

研究问题

• RQ1 薛定谔桥框架能否有效适配基于神经网络估计器的深度生成建模？
• RQ2 在目标分布的温和光滑性假设下，所提出的方法是否能实现对目标分布的一致收敛？
• RQ3 该薛定谔桥生成模型在标准基准测试上的性能与最先进GAN相比如何？
• RQ4 该方法能否成功应用于图像插值和图像修复等下游任务？

主要发现

• 所提出的薛定谔桥方法在目标密度的温和光滑性假设下，实现了对目标分布的一致收敛。
• 深度得分估计器与密度比估计器均被证明是一致的，确保了整个方法的统计可靠性。
• 在多模态合成数据上的实证结果验证了该框架的理论收敛特性。
• 在基准数据集上，该方法在样本质量和多样性方面均达到了与最先进GAN相当的生成性能。
• 该方法在图像插值和图像修复任务中表现出色，凸显了其在标准生成任务之外的实际应用价值。