[論文レビュー] Newton's method on Gra{\ss}mann manifolds

Uwe Helmke, Knut Hüper+1 more|arXiv (Cornell University)|Sep 14, 2007

Matrix Theory and Algorithms参考文献 11被引用数 24

ひとこと要約

本稿では、基点における微分が等しい任意の局所座標ペアを用いた、Graßmann多様体およびLagrange–Graßmann多様体上の一般化されたニュートン法を導入し、局所的2次収束を証明する。この手法により、主成分分析や不変部分空間計算のための効率的アルゴリズムが可能となり、線形行列方程式の簡略化された解法によって、従来の手法よりも計算複雑度が著しく改善される。

ABSTRACT

A general class of Newton algorithms on Gra{\\ss}mann and Lagrange-Gra{\\ss}mann manifolds is introduced, that depends on an arbitrary pair of local coordinates. Local quadratic convergence of the algorithm is shown under a suitable condition on the choice of coordinate systems. Our result extends and unifies previous convergence results for Newton's method on a manifold. Using special choices of the coordinates, new numerical algorithms are derived for principal component analysis and invariant subspace computations with improved computational complexity properties.

研究の動機と目的

• 任意の座標ペアを用いたGraßmann多様体およびLagrange–Graßmann多様体上のニュートン型最適化の統一的枠組みを構築すること。
• 固定された射影を柔軟な座標に基づく更新スキームに置き換えることで、既存のリーマン多様体ニュートン法を拡張すること。
• QR分解などの座標選択を活用することで、固有値問題および不変部分空間問題の計算的に効率的なアルゴリズムを導出すること。
• 座標の微分に関する弱い条件下で、局所的2次収束を確立することにより、先行研究を一般化すること。
• レイリー商最適化および不変部分空間計算のための新しい数値アルゴリズムを提供し、計算複雑度を改善すること。

提案手法

• 基点における微分が等しい任意の局所座標系 $\mu_p, \nu_p$ を用いた、Graßmann多様体上の一般化されたニュートンアルゴリズムを提案し、従来の射影の代わりに採用する。
• 座標チャートに基づくプルバック／プッシュフォワードスキームを用いてニュートンステップを導出し、内在的な幾何学的計算を可能にする。
• リーマン多様体のノーマル座標と $QR$-ベースの座標系を用いて指数写像の近似を簡略化し、計算コストを低減する。
• 古典的なGraßmann多様体 $\mathrm{Gr}_{m,n}$ およびLagrange–Graßmann多様体 $\mathrm{LG}_n$ にこの手法を適用し、明示的な更新則を導出する。
• Lagrange–Graßmann多様体上のレイリー商に対しては、各ステップでリャプノフ方程式を解くことでアルゴリズムが簡略化され、効率的な実装が可能になる。
• 不変部分空間計算に対しては、再帰的またはベクトル化を用いて解ける構造的線形行列方程式を解く必要がある。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体のノーマル座標を超えて、微分が等しい任意の座標ペアを用いた多様体上のニュートン法を一般化できるか？
• RQ2 このような一般化されたニュートンアルゴリズムが、Graßmann多様体上で局所的2次収束を達成するための条件は何か？
• RQ3 QR分解やノーマル座標などの座標選択をどのように活用することで、ニュートン型アルゴリズムの計算複雑度を低減できるか？
• RQ4 一般化されたニュートンフレームワークは、Graßmann多様体上での固有値問題および不変部分空間問題に対して効率的なアルゴリズムを生み出せるか？
• RQ5 Lagrange–Graßmann多様体に適用した場合のニュートンステップの構造的性質は何か？ そして、それらはどのように新しい数値的手法の構築を可能にするか？

主な発見

• 2つの座標系が基点において微分が等しいという条件下で、一般化されたニュートンアルゴリズムの局所的2次収束が証明された。
• Lagrange–Graßmann多様体上でのレイリー商最適化のためのアルゴリズムは、各反復でリャプノフ方程式を解く必要があるため、効率的な実装が可能である。
• 不変部分空間計算のためのアルゴリズムは、行列 $A$ の安定な不変部分空間への射影子へ局所的に2次収束する。
• 不変部分空間問題のニュートンステップは、行列 $A_{11}$ と $A_{22}$ の固有値成分が互いに不交和である限り、一意に解ける構造的線形行列方程式に簡略化される。
• 提案手法は、従来のリーマン多様体およびアフィン接続に基づくニュートン法を一般化・統合し、以前の手法を特別な場合として包含する。
• QR-ベースの座標の使用により、指数写像の効率的近似が可能となり、簡素化され計算に有利な実装が可能になった。