[論文レビュー] Optimization Techniques on Riemannian Manifolds

Steven T. Smith|arXiv (Cornell University)|Jul 22, 2014

Statistical and numerical algorithms被引用数 13

ひとこと要約

本稿では、ニュートン法と共役勾配法をリーマン多様体へ一般化することで、リーマン多様体上でのニュートン法と共役勾配法を導入し、それぞれ2次収束および超線形収束を示した。球面上のレイリー商に対するニュートン法は3次収束を示し、レイリー商反復は効率的な近似であることが示され、対称行列の極端な固有値を計算するための新しいアルゴリズムが得られた。

ABSTRACT

The techniques and analysis presented in this paper provide new methods to solve optimization problems posed on Riemannian manifolds. A new point of view is offered for the solution of constrained optimization problems. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two apparently new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess, respectively, quadratic and superlinear convergence. Examples of each method on certain Riemannian manifolds are given with the results of numerical experiments. Rayleigh's quotient defined on the sphere is one example. It is shown that Newton's method applied to this function converges cubically, and that the Rayleigh quotient iteration is an efficient approximation of Newton's method. The Riemannian version of the conjugate gradient method applied to this function gives a new algorithm for finding the eigenvectors corresponding to the extreme eigenvalues of a symmetric matrix. Another example arises from extremizing the function $\mathop{ m tr} Θ^{\scriptscriptstyle m T}QΘN$ on the special orthogonal group. In a similar example, it is shown that Newton's method applied to the sum of the squares of the off-diagonal entries of a symmetric matrix converges cubically.

研究の動機と目的

• ユークリッド空間への埋め込みを避けて、リーマン多様体の構造を活用する内因的最適化アルゴリズムの開発を目的とする。
• 球面やリー群などの非ユークリッド空間における制約付き最適化問題を、その幾何的・代数的構造を活用して取り扱うことを目的とする。
• 勾配降下法、ニュートン法、共役勾配法といった古典的最適化手法を、収束速度が保証される形でリーマン多様体へ一般化することを目的とする。
• SO(n) や球面などの多様体上での固有値問題や行列最適化タスクを解くための効率的な数値アルゴリズムを提供することを目的とする。
• リーマン的ニュートン法および共役勾配法が、特定の問題において標準的手法よりも高速に収束することを示すこと

提案手法

• 指数写像と共変微分を用いて、リーマン多様体上でのニュートン法を導出し、2次収束が保証されることを証明した。
• ベクトル送りとポラック＝リブレーール型更新を用いて、リーマン共役勾配法を適用し、超線形収束を達成した。
• SO(n) および球面上の自然なリーマン計量を用いて、測地線と平行移動を行列指数関数および三角関数を用いて定義した。
• SO(n) 上の勾配降下法および共役勾配法におけるステップサイズ選択に、ブロケットの推定を用い、数値的安定性を向上させた。
• 微分方程式の解法に代えて、行列代数を用いて対称空間およびリー群上での測地線および平行移動を効率的に計算した。
• 球面上での共役勾配法を用いた極端な固有ベクトルの計算のための新規アルゴリズムを導入し、S^20 上での数値実装を実施した。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上でのニュートン法は2次収束を達成できるか？ また、特定の問題において標準的手法よりも高速に収束するか？
• RQ2 リーマン共役勾配法は超線形収束を示すか？ また、球面上の固有値問題に効果的に適用可能か？
• RQ3 レイリー商反復は、球面上でのニュートン法の実用的な近似であるか？ 3次収束率を継承するか？
• RQ4 対称行列の非対角成分の二乗和にニュートン法を適用することで、3次収束を示すジャコビに類似したアルゴリズムが得られるか？
• RQ5 SO(n) や球面などの多様体の内因的構造をどのように活用すれば、最適化アルゴリズムの計算コストを低減できるか？

主な発見

• 球面上のレイリー商に対するニュートン法は3次収束を示し、標準的な2次収束よりも著しく高速である。
• レイリー商反復が、球面上でのニュートン法の効率的な近似であることが示され、3次収束を維持することが確認された。
• 球面上のレイリー商にリーマン共役勾配法を適用することで、対称行列の極端な固有ベクトルを計算するための新規アルゴリズムが得られた。
• SO(n) 上の関数 tr(ΘᵀQΘN) に対してニュートン法を適用すると3次収束を示し、3次収束を示すジャコビに類似した手法の新クラスが得られた。
• S^20 および SO(20) 上での数値実験により、理論的収束速度が確認され、共役勾配法が勾配降下法を上回ることが示された。
• 1反復あたりの計算コストは1回の行列-ベクトル積と約10nの浮動小数点演算にとどまり、スパース行列に対しては効率的である。