[论文解读] Lagrangian Manifold Monte Carlo on Monge Patches

Marcelo Hartmann, Mark Girolami+1 more|arXiv (Cornell University)|Feb 1, 2022

Topological and Geometric Data Analysis被引用 9

一句话总结

该论文通过将目标分布嵌入高维空间中的Monge截面，提出了一种计算高效的黎曼度量用于马尔可夫链蒙特卡洛（MCMC）方法，仅使用一阶梯度信息。所得度量可实现快速求逆与行列式计算，将计算复杂度从维度的立方级降低至平方级，显著提升了拉格朗日蒙特卡洛（Lagrangian Monte Carlo）的采样效率，在经验基准测试中优于欧几里得度量与费雪度量方法。

ABSTRACT

The efficiency of Markov Chain Monte Carlo (MCMC) depends on how the underlying geometry of the problem is taken into account. For distributions with strongly varying curvature, Riemannian metrics help in efficient exploration of the target distribution. Unfortunately, they have significant computational overhead due to e.g. repeated inversion of the metric tensor, and current geometric MCMC methods using the Fisher information matrix to induce the manifold are in practice slow. We propose a new alternative Riemannian metric for MCMC, by embedding the target distribution into a higher-dimensional Euclidean space as a Monge patch and using the induced metric determined by direct geometric reasoning. Our metric only requires first-order gradient information and has fast inverse and determinants, and allows reducing the computational complexity of individual iterations from cubic to quadratic in the problem dimensionality. We demonstrate how Lagrangian Monte Carlo in this metric efficiently explores the target distributions.

研究动机与目标

• 解决现有几何MCMC方法因昂贵的度量张量求逆与行列式计算而带来的高计算成本问题。
• 开发一种黎曼度量，以捕捉目标分布的局部曲率，且不依赖统计模型或二阶导数。
• 通过提供具有闭式逆与行列式的度量，实现拉格朗日蒙特卡洛（LMC）的高效实现。
• 证明新度量在采样效率上可与费雪度量相媲美，但计算开销显著降低。
• 提供一种通用的、基于几何的费雪信息度量替代方案，适用于多种几何MCMC算法。

提出的方法

• 将目标密度 π_X(x) 嵌入高维欧几里得空间中的Monge截面 Ξ(x) = (x, α log π_X(x))。
• 将诱导的黎曼度量 G_M(x) 定义为单位矩阵的秩一扰动，其扰动项为 log π_X(x) 梯度的外积。
• 通过Monge截面的微分几何推理推导度量张量，将其与第二基本形式及克里斯托费尔符号相联系。
• 通过闭式表达式实现度量逆与行列式的高效计算，避免昂贵的矩阵求逆。
• 将该度量集成至拉格朗日蒙特卡洛（LMC）中，使用仅需每轮迭代两次矩阵求逆的显式数值积分器。
• 调节缩放参数 α 以在曲率敏感性与计算效率之间取得平衡，建议在预热阶段采用自适应策略。

实验结果

研究问题

• RQ1 能否通过仅基于目标密度几何嵌入的黎曼度量，实现与费雪度量相当的采样效率，同时降低计算成本？
• RQ2 仅依赖一阶梯度的Monge截面度量是否能实现比需要二阶导数或完整度量求逆的方法更快的MCMC采样？
• RQ3 所提出的度量在复杂后验分布中对高曲率区域的探索能力提升程度如何？
• RQ4 控制参数 α 如何影响采样效率？是否可自适应调节以实现最优性能？
• RQ5 在需要行列式调整的非辛积分器（如LMC）中，该新度量是否能有效应用而不产生禁止性的计算开销？

主要发现

• 在心肌病数据集（N=270, D=14）上，使用Monge度量的LMC每秒最小有效样本量（ESS）达到441，优于LMC-Fisher（164）与HMC-欧几里得（55）。
• 在德国数据集（N=1000, D=22）上，Monge度量实现每秒210的平均ESS，优于LMC-Fisher（74）与HMC-欧几里得（69）。
• 在澳大利亚数据集（N=690, D=15）上，Monge度量实现每秒249的平均ESS，优于LMC-Fisher（104）与HMC-欧几里得（246）。
• 最优 α 值具有问题依赖性，通常较小，但即使当 ∇ℓ(x) 与 H(x) 较大时，该度量仍保持有效性，表明对梯度幅度过大的鲁棒性。
• Monge度量实现了快速的逆与行列式计算，将每轮迭代的复杂度从 O(D³) 降低至 O(D²)，使其适用于高维问题。
• 该方法表明，几何MCMC可兼具高效性与通用性，性能可与费雪度量媲美，但计算成本显著降低。