[论文解读] Deep Generative Learning via Schrödinger Bridge

Gefei Wang, Yuling Jiao+3 more|arXiv (Cornell University)|Jun 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 4

一句话总结

本文提出了一种基于薛定谔桥的新型深度生成建模框架，将生成学习表述为通过时变非时齐SDE在参考分布与目标分布之间进行熵插值。在温和的光滑性假设下，该方法确保理论一致性，并在合成数据与真实世界基准上实现了与最先进GAN相当的性能，展示了在图像生成、插值和图像修复任务中的优异表现。

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrödinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the Kullback-Leibler divergence. At the population level, this entropy interpolation is characterized via an SDE on $[0,1]$ with a time-varying drift term. At the sample level, we derive our Schrödinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrödinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrödinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

研究动机与目标

• 为解决深度生成模型中经验成功与理论一致性之间的差距，特别是针对基于似然与隐式模型的方法。
• 开发一种理论基础坚实的生成建模方法，避免对对数凹性或对数索博列夫不等式等强假设的依赖。
• 实现多模态分布的稳定学习，克服GAN常见的模式崩溃等缺陷。
• 提出一种两阶段算法，首先学习目标分布的平滑版本，然后将其精炼以匹配真实数据分布。
• 通过图像插值与图像修复任务展示方法的实际效用，证明其在性能上可与最先进GAN相媲美。

提出的方法

• 利用Kullback-Leibler散度将生成学习表述为在参考分布与目标分布之间的熵插值。
• 通过[0,1]区间上带有时变漂移项的随机微分方程（SDE）刻画总体层面的解。
• 在样本层面，通过深度得分估计器与深度密度比估计器近似漂移项，采用Euler-Maruyama方法实现。
• 采用两阶段训练流程：首先学习目标分布的平滑版本，然后将其精炼以匹配真实分布。
• 使用得分网络估计得分函数，使用残差网络估计密度比，辅以适当的归一化与数据预处理。
• 在生成后应用最终去噪步骤，以减少输出样本中的残留噪声。

实验结果

研究问题

• RQ1 薛定谔桥框架是否能在不依赖对数凹性等强假设的前提下，实现深度生成建模的理论一致性？
• RQ2 所提出的两阶段算法如何提升在学习多模态数据分布时的稳定性与性能？
• RQ3 薛定谔桥方法在CIFAR-10与CelebA等基准数据集上的性能是否可与最先进GAN相媲美或超越？
• RQ4 不同噪声水平与时间参数对生成样本质量有何影响？
• RQ5 该方法在图像插值与图像修复等下游任务中的有效性如何？

主要发现

• 所提出的薛定谔桥方法在温和光滑性假设下实现理论一致性，保证收敛至目标分布。
• 在CIFAR-10数据集上，σ²=2.0时，该方法在τ=3.5下取得12.45的Fréchet Inception Distance（FID）与7.98的Inception Score。
• 当σ²=5.0时，FID达到15.41，Inception Score为7.59（τ=8.0），表明其在不同噪声尺度下均具鲁棒性。
• 该方法成功学习了多模态合成分布而未出现模式崩溃，与之相比，GAN在类似设置下常出现失败。
• 图像插值与图像修复结果表明该方法具有实际效用与良好的泛化能力。
• 最终去噪步骤显著提升了样本质量，有效减少了生成图像中的残留噪声。