[论文解读] Information Newton's flow: second-order optimization method in probability space

Yifei Wang, Wuchen Li|arXiv (Cornell University)|Jan 13, 2020

Statistical Mechanics and Entropy参考文献 46被引用 7

一句话总结

本文提出了信息牛顿流——一种在概率空间中使用费雪-罗信息度量和 Wasserstein-2 度量的二阶优化方法。推导出 KL 散度的 Wasserstein 牛顿流即为牛顿朗之万动力学，提出了在仿射模型和再生核希尔伯特空间（RKHS）模型中的采样高效变分方法，并在近似方向下建立了收敛性，展示了其在贝叶斯采样问题中的有效性。

ABSTRACT

We introduce a framework for Newton's flows in probability space with information metrics, named information Newton's flows. Here two information metrics are considered, including both the Fisher-Rao metric and the Wasserstein-2 metric. A known fact is that overdamped Langevin dynamics correspond to Wasserstein gradient flows of Kullback-Leibler (KL) divergence. Extending this fact to Wasserstein Newton's flows, we derive Newton's Langevin dynamics. We provide examples of Newton's Langevin dynamics in both one-dimensional space and Gaussian families. For the numerical implementation, we design sampling efficient variational methods in affine models and reproducing kernel Hilbert space (RKHS) to approximate Wasserstein Newton's directions. We also establish convergence results of the proposed information Newton's method with approximated directions. Several numerical examples from Bayesian sampling problems are shown to demonstrate the effectiveness of the proposed method.

研究动机与目标

• 开发基于信息几何与最优传输度量的、在概率空间中的二阶优化方法。
• 将已知的 Wasserstein 梯度流与阻尼朗之万动力学之间的对应关系，推广至牛顿流。
• 推导一维空间与高斯族中牛顿朗之万动力学的解析解。
• 设计用于在高维空间中近似 Wasserstein 牛顿方向的采样高效变分方法。
• 为使用近似牛顿方向的所提方法建立收敛性保证。

提出的方法

• 利用费雪-罗度量与 Wasserstein-2 度量作为黎曼结构，在概率空间中推导牛顿流。
• 证明 KL 散度的 Wasserstein 牛顿流等价于牛顿朗之万动力学，从而扩展了梯度流与朗之万动力学之间的对应关系。
• 通过将对偶变量限制在仿射函数空间或再生核希尔伯特空间（RKHS）中，提出牛顿方向的变分近似。
• 引入一种混合更新方案，结合牛顿与梯度方向，以提升数值稳定性和效率。
• 利用拉格朗日松弛与 KKT 条件，推导在约束条件下最小化目标函数的变分形式。
• 应用 Banach-Alaoglu 定理与弱序列紧致性论证，证明在基于采样的优化下，近似牛顿方向的收敛性。

实验结果

研究问题

• RQ1 能否系统性地将牛顿方法推广至基于信息度量的概率空间优化问题？
• RQ2 Kullback-Leibler 散度的 Wasserstein 牛顿流具有何种形式？
• RQ3 哪一ored 普通微分方程对应于 Wasserstein 牛顿流，其与朗之万动力学有何关联？
• RQ4 如何利用基于采样的方法高效近似高维样本空间中的牛顿方向？
• RQ5 对于使用近似牛顿方向的所提信息牛顿方法，可建立何种收敛性保证？

主要发现

• KL 散度的 Wasserstein 牛顿流对应一类新的随机微分方程，称为牛顿朗之万动力学，其为阻尼朗之万动力学的推广。
• 在一维空间与高斯族中，推导出牛顿朗之万动力学的解析解，证明了在这些设定下可精确求解。
• 所提出的仿射模型与 RKHS 中的变分方法，可高效近似 Wasserstein 牛顿方向，显著降低高维空间中的计算成本。
• 在基于采样的优化下，严格证明了使用近似方向的信息牛顿方法的收敛性，其依赖于弱紧致性与变分原理。
• 在贝叶斯采样问题的数值实验中，该方法相比标准的一阶方法展现出更快的收敛速度。
• 通过在概率空间中结合二阶曲率信息与基于粒子的更新，该方法实现了更高的采样效率。