[論文レビュー] Gradient Method for Optimization on Riemannian Manifolds with Lower Bounded Curvature

O. P. Ferreira, Maurício Silva Louzeiro+1 more|arXiv (Cornell University)|Jun 7, 2018

Numerical methods in inverse problems参考文献 32被引用数 3

ひとこと要約

本稿は、断面曲率が下から有界な多様体上での凸最適化に対するリーマン的勾配法を分析し、リプシッツ、適応的、アーミジョの3つのステップサイズ戦略を提案。レベル集合の有界性仮定なしに、全列が最小値点に収束することを証明。勾配がリプシッツ連続である関数に対しては、O(1/ε)の反復複雑度バウンドを確立。リーマン的重心とカーチャー平均問題において数値的に検証され、適応的ラインサーチが強く有望な結果を示した。

ABSTRACT

The gradient method for minimize a differentiable convex function on Riemannian manifolds with lower bounded sectional curvature is analyzed in this paper. The analysis of the method is presented with three different finite procedures for determining the stepsize, namely, Lipschitz stepsize, adaptive stepsize and Armijo's stepsize. The first procedure requires that the objective function has Lipschitz continuous gradient, which is not necessary for the other approaches. Convergence of the whole sequence to a minimizer, without any level set boundedness assumption, is proved. Iteration-complexity bound for functions with Lipschitz continuous gradient is also presented. Numerical experiments are provided to illustrate the effectiveness of the method in this new setting and certify the obtained theoretical results. In particular, we consider the problem of finding the Riemannian center of mass and the so-called Karcher's mean. Our numerical experiences indicate that the adaptive stepsize is a promising scheme that is worth considering.

研究の動機と目的

• 断面曲率が下から有界な多様体上での凸最適化に対するリーマン的勾配法の全列収束を確立すること。この際、レベル集合の有界性仮定を必要としない。
• 目的関数に関する仮定の違いを想定し、リプシッツ、適応的、アーミジョの3つの異なるステップサイズ戦略を分析すること。
• 勾配がリプシッツ連続である関数に対して、O(1/ε)の反復複雑度バウンドを導出し、検証すること。
• リーマン的重心とカーチャー平均といった実用的問題における手法の有効性を示すこと。
• 異なるラインサーチ戦略の性能を評価し、特に適応的ステップサイズの可能性を強調すること。

提案手法

• 完備なリーマン多様体上に定義された勾配法を用い、断面曲率が下から有界である条件のもとで、リーマン的勾配を降下方向として定義する。
• 3つのステップサイズ戦略を採用：(1) 勾配のリプシッツ定数に基づく定数ステップサイズ、(2) 局所的曲率に応じて動的に調整される適応的ステップサイズ、(3) バックトラックを用いたアーミジョのラインサーチ。
• 収束解析は多様体の幾何的性質と目的関数の凸性に依拠し、弱い条件下でも全列が最小値点に収束することを証明する。
• リプシッツステップサイズの場合、f(p_N) - f* < ε となる反復回数がO(1/ε)以内であることを示した。
• 正のオルソント多様体に対してリーマン的距離と計量を明示的に定義し、重心問題におけるリーマン的勾配の閉形式計算を可能にした。
• 合成データを用いた数値実験を通じて、リーマン的重心とカーチャー平均問題において、3つのステップサイズ戦略の性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 断面曲率が下から有界な多様体上において、レベル集合の有界性を仮定しない条件下で、リーマン的勾配法が全列を最小値点に収束させることができるか。
• RQ2 目的関数の勾配がリプシッツ連続である場合、リーマン的勾配法の反復複雑度バウンドは何か。
• RQ3 リーマン凸最適化において、リプシッツ、適応的、アーミジョの各ラインサーチ戦略は、実際の問題でどのように性能を発揮するか。
• RQ4 適応的ステップサイズ戦略は、重心問題やカーチャー平均問題といったリーマン問題において、従来手法を上回る収束速度とロバストネスを示せるか。
• RQ5 理論的複雑度バウンド（目的関数値とリーマン的勾配ノルム）は、数値実験においてどの程度成立するか。特に、図4(a)と4(b)で確認された。

主な発見

• 目的関数が凸で、断面曲率が下から有界である多様体上では、レベル集合の有界性仮定なしに、リーマン的勾配法が生成する全列が最小値点に収束する。
• リプシッツステップサイズ戦略に対して、反復複雑度バウンドO(1/ε)を確立。f(p_N) - f* < ε となる反復回数がO(1/ε)以内であることを保証する。
• n=100、m=5、一様乱数初期点を用いたリーマン的重心問題における数値実験では、リプシッツステップサイズで30反復で収束した。
• 適応的ステップサイズ戦略は、リプシッツおよびアーミジョ戦略を上回る収束速度とロバストネスを示し、有望なアプローチであることが示された。
• 図4(a)および4(b)において、目的関数値とリーマン的勾配ノルムの理論的複雑度バウンドが、実験的に妥当であることが確認され、実用的信頼性が裏付けられた。
• 重心問題におけるリーマン的勾配は、grad f(x) = (x_i ∑_j ln(x_i / w_i^j))_i として明示的に計算可能であり、正確な解の検証が可能となった。