[论文解读] A Cubic Regularized Newton's Method over Riemannian Manifolds

Junyu Zhang, Shuzhong Zhang|arXiv (Cornell University)|May 15, 2018

Iterative Methods for Nonlinear Equations参考文献 27被引用 13

一句话总结

本文提出了一种用于黎曼流形上光滑优化的立方正则化黎曼牛顿法（CRRN），在拉回海森矩阵局部利普希茨连续的条件下，达到全局迭代复杂度$\mathcal{O}(1/\epsilon^{3/2})$，以获得二阶$\epsilon$-平稳点。该方法将内斯特罗夫的欧几里得立方正则化框架扩展至黎曼设置，保持了有利的收敛速率，提供了显式的复杂度界和在附加条件下的超线性收敛性，并通过在施蒂费尔流形上的数值实验得到验证。

ABSTRACT

In this paper we present a cubic regularized Newton's method to minimize a smooth function over a Riemannian manifold. The proposed algorithm is shown to reach a second-order $ε$-stationary point within $\mathcal{O}(1/ε^{\frac{3}{2}})$ iterations, under the condition that the pullbacks are locally Lipschitz continuous, a condition that is shown to be satisfied if the manifold is compact. Furthermore, we present a local superlinear convergence result under some additional conditions.

研究动机与目标

• 开发一种用于光滑黎曼优化的二阶优化方法，保证收敛至二阶$\epsilon$-平稳点，且相比一阶方法具有改进的迭代复杂度。
• 将内斯特罗夫的立方正则化框架从欧几里得空间扩展至黎曼流形，保持有利的收敛速率。
• 在较弱的正则性条件下（如拉回海森矩阵的局部利普希茨连续性）建立全局迭代复杂度界。
• 为施蒂费尔流形提供算法常数的显式计算，以支持实际实现。
• 通过数值实验，展示该方法在收敛速度和迭代次数方面与黎曼梯度下降法和信赖域方法相比的竞争力。

提出的方法

• 提出一种立方正则化黎曼牛顿法（CRRN），在每次迭代中通过黎曼海森矩阵和梯度求解一个正则化子问题。
• 采用基于重投影的框架以保持在流形上的可行性，对施蒂费尔流形的理论分析使用极坐标重投影。
• 引入一种使用固定步长梯度法的子问题求解策略，停止准则基于黎曼梯度范数。
• 在拉回海森矩阵局部利普希茨连续的假设下，推导出$\mathcal{O}(1/\epsilon^{3/2})$的全局迭代复杂度。
• 在附加条件下（如局部洛贾谢维奇不等式或海森矩阵非退化性）建立局部超线性收敛性。
• 为施蒂费尔流形计算显式常数，包括$L_H = 13.66G + 12.55\ell_f + 4\ell_H$和$C_g = 1/8.62$，以支持实际实现。

实验结果

研究问题

• RQ1 立方正则化能否成功扩展至黎曼优化，以实现比一阶方法更快的收敛速度？
• RQ2 在较弱正则性条件下，立方正则化牛顿法在黎曼流形上的全局迭代复杂度是多少？
• RQ3 在海森矩阵的附加结构假设下，该方法是否能实现局部超线性收敛？
• RQ4 能否为特定流形（如施蒂费尔流形）推导出算法的显式常数？
• RQ5 在实践中，该方法与黎曼梯度下降法和信赖域方法相比，在收敛速度和迭代次数方面表现如何？

主要发现

• CRRN 方法在达到二阶$\epsilon$-平稳点时，实现了$\mathcal{O}(1/\epsilon^{3/2})$的全局迭代复杂度，与欧几里得情况下的最佳已知速率一致。
• 该复杂度界在拉回海森矩阵局部利普希茨连续的条件下成立，当流形紧致时该条件成立。
• 对于施蒂费尔流形（或施蒂费尔流形的乘积），拉回海森矩阵是全局利普希茨连续的，且具有显式常数$L_H = 13.66G + 12.55\ell_f + 4\ell_H$，且与维度无关。
• 在局部洛贾谢维奇不等式或黎曼海森矩阵非退化性条件下，建立了局部超线性收敛性。
• 在低秩最大割和最大正交割SDP问题上的数值实验表明，CRRN 表现具有竞争力，随着黎曼梯度减小，其收敛速度最终超过 RGD 和 RTR。
• 来自加州理工学院 Facebook 网络的两个示例展示了 CRRN 对局部极小值的超线性收敛，证实了理论局部收敛速率。