[论文解读] Approximate inference with Wasserstein gradient flows

Charlie Frogner, Tomaso Poggio|arXiv (Cornell University)|Jun 12, 2018

Model Reduction and Neural Networks参考文献 24被引用 10

一句话总结

本文提出了一种基于再生核希尔伯特空间（RKHS）中Wasserstein梯度流的无离散化近似推理方法，用于非线性扩散过程。通过将时间离散化的Wasserstein梯度流的正则化对偶问题进行公式化，该方法实现了无需领域离散化的可扩展高维推理，其性能在多模态后验分布上与最先进滤波方法相当。

ABSTRACT

We present a novel approximate inference method for diffusion processes, based on the Wasserstein gradient flow formulation of the diffusion. In this formulation, the time-dependent density of the diffusion is derived as the limit of implicit Euler steps that follow the gradients of a particular free energy functional. Existing methods for computing Wasserstein gradient flows rely on discretization of the domain of the diffusion, prohibiting their application to domains in more than several dimensions. We propose instead a discretization-free inference method that computes the Wasserstein gradient flow directly in a space of continuous functions. We characterize approximation properties of the proposed method and evaluate it on a nonlinear filtering task, finding performance comparable to the state-of-the-art for filtering diffusions.

研究动机与目标

• 解决现有方法在高维扩散过程中因领域离散化而受限的近似推理挑战。
• 开发一种避免状态空间网格离散化的可扩展推理框架。
• 通过连续函数空间实现对非线性扩散中时变概率密度的准确近似。
• 表征所提方法在具有多模态后验分布的非线性滤波任务中的理论与实证性能。

提出的方法

• 将Wasserstein梯度流公式化为最小化正则化Wasserstein距离与自由能泛函的变分问题。
• 利用严格凸且光滑的正则化器，推导时间离散化梯度流的对偶形式，以实现可处理的优化。
• 直接在再生核希尔伯特空间（RKHS）中操作，避免领域离散化，支持高维推理。
• 通过基于核的函数表示，在RKHS函数上进行有限维优化，近似对偶问题。
• 使用蒙特卡洛采样进行随机优化，以近似正则化目标函数。
• 通过迭代更新预测密度（经前向扩散并乘以似然函数）将该方法应用于非线性滤波。

实验结果

研究问题

• RQ1 基于正则化Wasserstein梯度流的无离散化方法能否在高维扩散过程中实现准确推理？
• RQ2 所提方法在非线性、多模态扩散中的性能与最先进滤波技术相比如何？
• RQ3 正则化和时间步长对Wasserstein梯度流近似精度有何影响？
• RQ4 该方法能否有效捕捉对标准滤波方法（如卡尔曼滤波器或粒子滤波器）构成挑战的多模态后验分布？

主要发现

• 即使在高维设置下，该方法与使用1000个粒子的基于模拟的方法相比，对真实后验的对称KL散度也相当。
• 在非线性、多模态滤波任务中，该方法在定性和定量指标上均优于扩展卡尔曼滤波器、无迹卡尔曼滤波器、高斯混合滤波器和自助粒子滤波器。
• Wasserstein梯度流能准确捕捉多模态后验分布，而基线方法由于高斯假设或粒子退化而无法表示多个模式。
• 该方法在维度上具有良好的可扩展性，在增加领域维度时保持精度，性能与粒子模拟相似。
• 正则化和时间步长是主要误差来源，但在γ = 10⁻⁶和τ = 1/4或1/5的实际设置下，方法仍保持鲁棒且准确。
• 实证结果表明，在100次重复实验中，该方法在滤波保真度方面始终优于所有基线方法，对称KL散度更低。