[论文解读] Convergence analysis for the Riemannian conjugate gradient method

Hiroyuki Sato, Toshihiro Iwai|arXiv (Cornell University)|Feb 1, 2013

Numerical methods in inverse problems被引用 1

一句话总结

本文提出一种缩放向量传输方法，用于黎曼共轭梯度法，在较宽松的假设下实现全局收敛。通过在传输后向量范数增大时对其进行缩放，该方法确保了即使在标准算法发散的情况下也能实现收敛，该结论已通过理论分析和在具有挑战性的最小化问题上的数值实验得到验证。

ABSTRACT

This article deals with the conjugate gradient method on a Riemannian manifold with interest in global convergence analysis. The existing conjugate gradient algorithms on a manifold endowed with a vector transport need the assumption that the vector transport does not increase the norm of tangent vectors, in order to confirm that generated sequences have a global convergence property. In this article, the notion of a scaled vector transport is introduced to improve the algorithm so that the generated sequences may have a global convergence property under a relaxed assumption. In the proposed algorithm, the transported vector is rescaled in case its norm has increased during the transport. The global convergence is theoretically proved and numerically observed with examples. In fact, numerical experiments show that there exist minimization problems for which the existing algorithm generates divergent sequences, but the proposed algorithm generates convergent sequences.

研究动机与目标

• 解决现有黎曼共轭梯度算法的局限性，即要求向量传输不增加切向量范数以实现全局收敛。
• 开发一种改进算法，即使在向量传输增加向量范数的情况下也能保持全局收敛性。
• 引入一种缩放向量传输机制，在传输后对向量进行重缩放，以保持收敛性质。
• 从理论上证明并数值验证所提方法的改进收敛行为。

提出的方法

• 提出一种缩放向量传输的概念，通过在传输后向量范数增加时对其重新缩放，对标准向量传输进行修改。
• 使用该缩放传输方法实施黎曼共轭梯度法，以确保下降性和收敛性。
• 采用非单调线搜索策略，以确保目标函数的充分下降。
• 采用Polak-Ribière更新公式计算共轭方向，并将其适配到具有缩放传输的黎曼设置中。
• 理论分析证明了在弱于先前方法的假设下实现全局收敛。
• 数值实验将所提方法与标准算法在标准方法产生发散行为的测试问题上进行了比较。

实验结果

研究问题

• RQ1 黎曼共轭梯度法是否能在不强制要求向量传输保持切向量范数的前提下实现全局收敛？
• RQ2 在传输过程中引入向量重缩放如何影响算法的收敛行为？
• RQ3 是否存在现有黎曼共轭梯度方法发散但所提方法收敛的最小化问题？
• RQ4 缩放向量传输对算法的收敛速度和鲁棒性有何影响？

主要发现

• 所提算法在较宽松假设下实现全局收敛，具体而言，无需要求向量传输保持或减小切向量范数。
• 数值实验表明，该算法在标准共轭梯度方法使用非缩放传输时产生发散序列的最小化问题上仍能收敛。
• 在向量传输过程中引入缩放有效缓解了传输过程中范数膨胀的问题，从而保持了下降性质。
• 理论分析证实，缩放传输在黎曼设置下维持了实现全局收敛所必需的条件。
• 在向量传输行为不良的测试问题上，该方法在鲁棒性方面优于现有方法。
• 结果表明，重缩放是确保实际黎曼优化场景中收敛性的关键改进。