[论文解读] Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis

Adam Block, Youssef Mroueh+2 more|arXiv (Cornell University)|Jun 19, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 9

一句话总结

本文表明，在流形假设下——即高维图像数据位于或靠近低维流形——多尺度Langevin动力学可实现快速混合，其混合时间仅与内在维数相关，而非环境像素维数。通过利用黎曼几何与多分辨率采样方案，该方法在保持高图像质量的同时降低了计算成本，解决了在高维、非凸图像生成设置中经验上快速混合的悖论。

ABSTRACT

Recently, the task of image generation has attracted much attention. In particular, the recent empirical successes of the Markov Chain Monte Carlo (MCMC) technique of Langevin Dynamics have prompted a number of theoretical advances; despite this, several outstanding problems remain. First, the Langevin Dynamics is run in very high dimension on a nonconvex landscape; in the worst case, due to the NP-hardness of nonconvex optimization, it is thought that Langevin Dynamics mixes only in time exponential in the dimension. In this work, we demonstrate how the manifold hypothesis allows for the considerable reduction of mixing time, from exponential in the ambient dimension to depending only on the (much smaller) intrinsic dimension of the data. Second, the high dimension of the sampling space significantly hurts the performance of Langevin Dynamics; we leverage a multi-scale approach to help ameliorate this issue and observe that this multi-resolution algorithm allows for a trade-off between image quality and computational expense in generation.

研究动机与目标

• 解释为何在理论上预期混合时间呈指数级增长的高维图像生成中，Langevin动力学仍能实现快速混合。
• 解决理论预测在高维非凸势能景观中混合缓慢，而实际图像生成中却表现出快速收敛之间的脱节问题。
• 提出流形假设——即数据位于低维流形上——可解释快速混合现象，因其降低了有效维数。
• 提出一种多尺度Langevin动力学算法，以在图像质量与计算成本之间实现权衡。
• 通过消融研究与多分辨率采样方案下的FID分数，提供对流形假设的实证验证。

提出的方法

• 应用黎曼几何分析流形上的对数Sobolev常数与Dirichlet型，表明对数Sobolev常数仅依赖于内在维数。
• 利用流形假设，对数据分布的对数Sobolev常数进行上界估计，确保其混合速度独立于环境维数。
• 设计一种多尺度Langevin动力学算法（mr-Langevin），从低分辨率噪声开始，通过基于得分的模型逐步提升至高分辨率。
• 集成超分辨率网络，在应用高分辨率Langevin步骤前对低分辨率样本进行上采样，实现渐进式优化。
• 采用渐进式噪声水平降低的Langevin动力学，从粗到细逐步采样，以稳定采样过程并提升收敛性。
• 利用从环境空间到流形的投影映射的Jacobian矩阵，对Dirichlet型进行上界估计，并推导出混合时间的上界。

实验结果

研究问题

• RQ1 为何在理论上预期混合时间呈指数增长的高维图像生成中，Langevin动力学仍能实现快速混合？
• RQ2 流形假设能否解释在非凸、高维图像数据中Langevin动力学的快速混合现象？
• RQ3 多尺度采样如何影响基于Langevin的生成建模中图像质量与计算成本之间的权衡？
• RQ4 从低分辨率噪声开始，通过逐步提升分辨率的Langevin步骤进行优化，对样本质量与FID分数有何影响？
• RQ5 消融研究在多大程度上证实了多分辨率采样在流形假设下能提升性能？

主要发现

• 在流形假设下，Langevin动力学的混合时间仅依赖于数据流形的内在维数，而非环境像素维数。
• 数据分布的对数Sobolev常数由内在维数的函数有界，从而即使在高环境维数下也能实现快速混合。
• 多尺度Langevin算法（mr-Langevin）在图像质量与计算成本之间实现了有效权衡，FID分数随低分辨率步骤数量的增加而改善。
• 在消融研究中，采用2个低分辨率步骤后接高分辨率采样（LRS-2↑-HRS-9）的mr-Langevin在CelebA-64×64上取得19.34的FID，优于标准HRS（20.17）与LRS-↑（37.20）。
• 表现最佳的多分辨率方案（LRS-2↑-HRS-9）取得19.34的FID，显著优于标准HRS（20.17），证实多尺度采样在流形假设下可提升样本质量。
• 消融研究显示，噪声水平与上采样方法的选择显著影响FID，其中超分辨率网络优于双三次插值。