[論文レビュー] A Cubic Regularized Newton's Method over Riemannian Manifolds

Junyu Zhang, Shuzhong Zhang|arXiv (Cornell University)|May 15, 2018

Iterative Methods for Nonlinear Equations参考文献 27被引用数 13

ひとこと要約

本稿は、リーマン多様体上での滑らかな最適化のための立方体正則化リーマン多様体ニュートン法（CRRN）を導入し、プルバックヘッシアンの局所リプシッツ連続性の下で、二階の $\epsilon$-停留立点に到達するためのグローバル反復複雑度 $\mathcal{O}(1/\epsilon^{3/2})$ を達成する。この手法はネステロフのユークリッド空間における立方体正則化をリーマン的設定に拡張したものであり、明示的な複雑度バウンドと追加条件の下での超線形収束を保証し、ステイフェル多様体上での数値実験により検証されている。

ABSTRACT

In this paper we present a cubic regularized Newton's method to minimize a smooth function over a Riemannian manifold. The proposed algorithm is shown to reach a second-order $ε$-stationary point within $\mathcal{O}(1/ε^{\frac{3}{2}})$ iterations, under the condition that the pullbacks are locally Lipschitz continuous, a condition that is shown to be satisfied if the manifold is compact. Furthermore, we present a local superlinear convergence result under some additional conditions.

研究の動機と目的

• 滑らかなリーマン多様体最適化のための二階最適化手法を開発し、一階手法よりも改善された反復複雑度で二階 $\epsilon$-停留立点への収束を保証すること。
• ネステロフの立方体正則化フレームワークをユークリッド空間からリーマン多様体に拡張し、良好な収束レートを維持すること。
• プルバックヘッシアンの局所リプシッツ連続性といった弱い正則性条件の下でグローバル反復複雑度バウンドを確立すること。
• ステイフェル多様体におけるアルゴリズム定数の明示的計算を提供し、実装可能性を高めること。
• 数値実験を通じて、リーマン多様体勾配降下法（RGD）および信頼領域法（RTR）と比較して、収束速度と反復回数の面で競争力のある性能を示すこと。

提案手法

• 各反復でリーマンヘッシアンと勾配を用いて正則化された部分問題を解く立方体正則化リーマン多様体ニュートン法（CRRN）を提案する。
• 多様体上の妥当性を維持するためのリトラクションベースのフレームワークを採用し、理論的分析のためにステイフェル多様体では極座標リトラクションを用いる。
• 固定ステップサイズ勾配法を用いた部分問題の解法戦略を導入し、リーマン勾配ノルムに基づく停止基準を設定する。
• プルバックヘッシアンが局所リプシッツ連続であるという仮定の下で、グローバル反復複雑度 $\mathcal{O}(1/\epsilon^{3/2})$ を導出する。
• ローゼンシュタイン不等式やヘッシアンの非退化性といった追加条件の下で、局所的な超線形収束を確立する。
• ステイフェル多様体における明示的定数を計算し、$L_H = 13.66G + 12.55\ell_f + 4\ell_H$ および $C_g = 1/8.62$ を得ることで、実装可能性を高める。

実験結果

リサーチクエスチョン

• RQ1 立方体正則化をリーマン最適化に成功裏に拡張することで、一階手法よりも速い収束を達成できるか？
• RQ2 弱い正則性条件の下で、リーマン多様体上での立方体正則化ニュートン法のグローバル反復複雑度は何か？
• RQ3 ヘッシアンに追加の構造的仮定（例：局所的ロージェンシュタイン不等式、ヘッシアンの非退化性）がある場合、局所的超線形収束を達成できるか？
• RQ4 特定の多様体（例：ステイフェル多様体）に対して、アルゴリズムの明示的定数を導出できるか？
• RQ5 実際の性能において、本手法はリーマン多様体勾配降下法（RGD）および信頼領域法（RTR）と比較して、収束速度と反復回数の面で優れているか？

主な発見

• CRRN手法は、二階の $\epsilon$-停留立点に到達するためのグローバル反復複雑度 $\mathcal{O}(1/\epsilon^{3/2})$ を達成し、ユークリッド空間における最良のレートと一致する。
• 複雑度バウンドは、プルバックヘッシアンが局所リプシッツ連続であるという条件のもとで成立し、多様体がコンパクトであればこの条件は満たされる。
• ステイフェル多様体（またはステイフェル多様体の積）では、プルバックヘッシアンがグローバルにリプシッツ連続であり、次元に依存しない明示的定数 $L_H = 13.66G + 12.55\ell_f + 4\ell_H$ を持つ。
• 局所的ロージェンシュタイン不等式またはリーマンヘッシアンの非退化性という追加仮定の下で、局所的超線形収束が確立される。
• 低ランクmax-cutおよびmax-orthogonal-cut SDP問題に対する数値実験では、CRRNが競争力のある性能を示し、リーマン勾配が小さくなるに従い、最終的にはRGDおよびRTRを上回る収束速度を達成する。
• カリフォルニア工科大学のFacebookネットワークからの2つの例では、CRRNが局所的最小値への超線形収束を示し、理論的な局所収束レートを確認した。