[論文レビュー] Optimization on flag manifolds

Ke Ye, Ken Sze-Wai Wong+1 more|arXiv (Cornell University)|Jul 1, 2019

Statistical and numerical algorithms参考文献 34被引用数 8

ひとこと要約

この論文は、標準的な行列演算を用いて微分幾何的対象（計量、測地線、勾配、ヘッセ行列など）の閉形式解析的表現を導出することにより、フラッグ多様体—入れ子になった部分空間の列をパラメータ化する滑らかな多様体—におけるリーマン最適化アルゴリズムを開発する。主な貢献は、数値的に安定した線形代数ベースの計算を用いて、フラッグ多様体上での勾配降下法、共役勾配法、ニュートン法を可能にしたことであり、これにより、ユークリッド空間、スタイーベル多様体、グラスマン多様体、正定値行列多様体を超えるリーマン最適化の範囲が拡張される。

ABSTRACT

A flag is a sequence of nested subspaces. Flags are ubiquitous in numerical analysis, arising in finite elements, multigrid, spectral, and pseudospectral methods for numerical PDE; they arise in the form of Krylov subspaces in matrix computations, and as multiresolution analysis in wavelets constructions. They are common in statistics too --- principal component, canonical correlation, and correspondence analyses may all be viewed as methods for extracting flags from a data set. The main goal of this article is to develop the tools needed for optimizing over a set of flags, which is a smooth manifold called the flag manifold, and it contains the Grassmannian as the simplest special case. We will derive closed-form analytic expressions for various differential geometric objects required for Riemannian optimization algorithms on the flag manifold; introducing various systems of extrinsic coordinates that allow us to parameterize points, metrics, tangent spaces, geodesics, distance, parallel transport, gradients, Hessians in terms of matrices and matrix operations; and thereby permitting us to formulate steepest descent, conjugate gradient, and Newton algorithms on the flag manifold using only standard numerical linear algebra.

研究の動機と目的

• グラスマン多様体やスタイーベル多様体を一般化する新しい滑らかな多様体クラスとしてのフラッグ多様体へのリーマン最適化の拡張を目的とする。
• 標準的な行列分解を用いて、計量、接空間、測地線、距離、平行移動、勾配、ヘッセ行列といったリーマン幾何的対象の閉形式解析的表現を導出することを目的とする。
• 微分方程式の数値的解法を避けることにより、数値線形代数のみを用いて、フラッグ多様体上での実用的最適化アルゴリズム（勾配降下法、共役勾配法、ニュートン法）を効率的かつ安定に実装することを目的とする。
• 主フラッグ問題および非線形固有フラッグ問題に対する数値実験を通じて、提案手法の頑健性とスケーラビリティを示すこと。

提案手法

• フラッグ多様体上の点を、入れ子になった部分空間の次元に対応する部分行列に分割された正規直交行列として表すスタイーベル座標を用いてパラメータ化する。
• 接ベクトル上のフロベニウス内積を用いてフラッグ多様体上の標準的リーマン計量を定義し、勾配やヘッセ行列の効率的計算を可能にする。
• QR分解および特異値分解（SVD）を用いて測地線および指数写像の閉形式表現を導出し、数値的安定性と効率性を確保する。
• 直交射影とSVDを含む行列演算を用いて平行移動を実装し、反復的または微分方程式に基づく計算を回避する。
• 幾何的対象の解析的表現を活用して、行列演算のみを用いたリーマン最適化アルゴリズム（勾配降下法、共役勾配法、ニュートン法）を定式化する。
• フラッグ多様体をユークリッド空間に埋め込むための外在的座標を用い、標準的な線形代数ツールを用いてすべての必要なリーマン量を計算可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラスマン多様体を一般化し、多次元数値的および統計的手法において中心的役割を果たすフラッグ多様体へのリーマン最適化を体系的に拡張できるか？
• RQ2 計量、測地線、勾配、ヘッセ行列、平行移動といったすべての主要なリーマン幾何的対象が、標準的な行列演算を用いて閉形式で表現可能か？
• RQ3 微分方程式の数値的解法を避けて、数値線形代数のみを用いてフラッグ多様体上での最適化アルゴリズムを効率的かつ安定に実装できるか？
• RQ4 主フラッグ抽出問題および非線形固有フラッグ問題のような実際の問題において、提案手法のアルゴリズムはどのように動作するか？

主な発見

• 主フラッグ問題のためのアルゴリズム1は、さまざまなフラッグ次元において真の解との誤差が1.4×10⁻⁴から87×10⁻⁴の範囲に収まり、頑健性を示している。
• アルゴリズム1の実行時間はフラッグ多様体の次元にほぼ線形に増加し、テスト設定におけるk=30からk=100の範囲で0.38秒から4.07秒の間で変動している。
• 非線形固有フラッグ問題（56）では、約390回の反復後に局所最小値に収束が観察され、関数値は約60回の反復後に安定化しており、非線形性にもかかわらず収束が確認されている。
• 収束軌道には、曲がった多様体上での勾配降下法の特徴としての、断続的な測地線パスに起因するきついスパイクが見られる。
• 提案されたフレームワークにより、数値積分や微分方程式ソルバーを一切必要とせず、標準的な行列演算のみでフラッグ多様体上での最適化が可能になった。