[论文解读] Fast and Robust Shortest Paths on Manifolds Learned from Data

Georgios Arvanitidis, Søren Hauberg+2 more|arXiv (Cornell University)|Jan 22, 2019

Model Reduction and Neural Networks被引用 20

一句话总结

本文提出了一种无需计算雅克比矩阵的定点迭代方法，用于在从数据中学习到的黎曼流形上计算最短路径，克服了标准ODE求解器在稳定性与高计算成本方面的缺陷。该方法通过避免病态雅克比矩阵，确保了鲁棒性与高效性，在复杂、数据驱动的流形上，其速度与精度显著优于通用及专用求解器。

ABSTRACT

We propose a fast, simple and robust algorithm for computing shortest paths and distances on Riemannian manifolds learned from data. This amounts to solving a system of ordinary differential equations (ODEs) subject to boundary conditions. Here standard solvers perform poorly because they require well-behaved Jacobians of the ODE, and usually, manifolds learned from data imply unstable and ill-conditioned Jacobians. Instead, we propose a fixed-point iteration scheme for solving the ODE that avoids Jacobians. This enhances the stability of the solver, while reduces the computational cost. In experiments involving both Riemannian metric learning and deep generative models we demonstrate significant improvements in speed and stability over both general-purpose state-of-the-art solvers as well as over specialized solvers.

研究动机与目标

• 解决在有限、含噪数据上学习到的黎曼流形上计算测地线时，标准ODE求解器存在的不稳定性与高计算成本问题。
• 克服由于数据驱动的黎曼度量导致的病态与不稳定雅克比矩阵，造成现成求解器失效的问题。
• 开发一种在机器学习中出现的复杂、高曲率流形上，具备鲁棒性、高效性与可扩展性的距离计算方法。
• 将先前的概率数值求解器（Hennig & Hauberg, 2014）扩展并修正为一个可证明收敛且实用的测地线计算算法。

提出的方法

• 该方法采用定点迭代格式求解测地线的两点边值问题（BVP），无需计算ODE系统的雅克比矩阵。
• 利用高斯过程回归对黎曼度量进行建模，确保路径近似结果的光滑性，从而实现稳定的收敛。
• 通过从GP后验分布导出的平滑算子，迭代更新路径估计，避免显式计算雅克比矩阵。
• 该方法基于光滑样条与定点迭代的理论（Mann, 1953; Johnson, 1972），在较弱条件下保证收敛性。
• 黎曼度量通过度量学习或深度生成模型（如VAEs）从数据中估计，度量定义为均值函数与对数方差函数雅克比矩阵的和。
• 通过自适应线搜索与网格细化实现算法优化，以提升收敛速度与精度。

实验结果

研究问题

• RQ1 无雅克比定点迭代方法能否在从有限数据学习到的、具有病态或不稳定度量的黎曼流形上可靠地计算测地线？
• RQ2 在具有挑战性的数据驱动流形上，该方法与通用及专用ODE求解器相比，在速度与鲁棒性方面表现如何？
• RQ3 定点方法是否能收敛到真实测地线？是否可进一步改进以超越先前的概率数值求解器？
• RQ4 当流形表现出高曲率或非均匀度量结构时，该方法在保持精度与效率方面的能力如何？

主要发现

• 在含噪的二维球面上，所提方法计算出的最短测地线路径长度为2.52，显著优于bvp5c（3.65）与Hennig & Hauberg（3.30）。
• 在50组随机选取的点对上，所提方法始终找到最短路径，而bvp5c与Hennig & Hauberg随距离增加逐渐产生次优解。
• 在简单问题上，该方法比bvp5c更快，且在高曲率复杂问题上仅带来微小的运行时开销。
• 在具有不连续度量区域的高曲率流形上，该方法保持鲁棒性，可在bvp5c失效时成功收敛，尤其在跨越高曲率半球区域时表现更优。
• 即使在雅克比条件数较高的情况下，该方法仍能实现鲁棒收敛，如在数据流形中对数条件数较高的区域所展示的。
• 该算法被证明是先前Hennig & Hauberg（2014）方法的修正版本，具有可证明的收敛性，而原方法此前缺乏收敛性保证。