[論文レビュー] Quadratic Optimization with Orthogonality Constraints: Explicit Lojasiewicz Exponent and Linear Convergence of Line-Search Methods

Huikang Liu, Weijie Wu+1 more|arXiv (Cornell University)|Oct 5, 2015

Advanced Optimization Algorithms Research参考文献 23被引用数 13

ひとこと要約

本稿は、ステイfel多様体上の直交制約を伴う二次計画問題に対して明示的なŁojasiewicz指数を確立し、広範なクラスのラインサーチ法における次元に依存しない線形収束の証明を初めて可能にした。臨界点に対する局所リプシッツ誤差境界を導出し、固有値の制限なしに線形収束を示したことで、非凸行列最適化問題の収束速度解析において顕著な前進を遂げた。

ABSTRACT

A fundamental class of matrix optimization problems that arise in many areas of science and engineering is that of quadratic optimization with orthogonality constraints. Such problems can be solved using line-search methods on the Stiefel manifold, which are known to converge globally under mild conditions. To determine the convergence rate of these methods, we give an explicit estimate of the exponent in a Lojasiewicz inequality for the (non-convex) set of critical points of the aforementioned class of problems. By combining such an estimate with known arguments, we are able to establish the linear convergence of a large class of line-search methods. A key step in our proof is to establish a local error bound for the set of critical points, which may be of independent interest.

研究の動機と目的

• 非凸二次計画問題におけるラインサーチ法の収束速度解析の欠如に取り組む。
• 凸性や制限的な固有値仮定に依存する既存手法の限界を克服する。
• このような問題の臨界点集合に対する明示的かつ次元に依存しないŁojasiewicz指数の推定値を提供する。
• 新しいŁojasiewicz指数推定値を用いて、広範なクラスのラインサーチ法の線形収束を確立する。
• 非凸臨界点集合に対する局所誤差境界を構築し、最適化理論において独立した価値を持つ可能性を示す。

提案手法

• 行列 $ X^T X = I_n $ を満たすステイfel多様体 $ \mathrm{St}(m,n) $ 上で $ F(X) = \mathrm{tr}(X^T A X B) $ の最小化問題として定式化する。
• 再帰的写像（retraction）を用いてステイfel多様体上でのラインサーチ法を適用し、妥当性を保つ。更新式は $ X_{k+1} = R(X_k, \alpha_k \xi_k) $ で与えられる。
• 最適性条件の構造を分析することで、臨界点集合に対する局所リプシッツ誤差境界を確立する。
• 特異値分解（SVD）および直交プロクラステス問題の技術を用いて、解多様体への距離を評価する。
• 直交性からの最小フロベニウスノルム偏差に対する明示的推定値 $ \Theta(\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \|_F^2) $ を導出する。
• 誤差境界を既知のŁojasiewicz不等式フレームワークと組み合わせることで、ラインサーチ法の線形収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 直交制約を伴う二次計画問題の非凸臨界点集合に対するŁojasiewicz指数の明示的値は何か？
• RQ2 問題の次元に依存しない臨界点集合に対する局所誤差境界を確立できるか？
• RQ3 新しいŁojasiewicz指数推定値により、固有値の制限なしにラインサーチ法の線形収束を示せるか？
• RQ4 誤差境界は最適性条件分解における非対角ブロックのフロベニウスノルムとどのように関係するか？
• RQ5 重複固有値や $ n > 1 $ の場合へも解析を拡張可能か？（論文の一般性から暗黙的に示唆される）

主な発見

• 問題の次元 $ m $ と $ n $ に依存しない明示的なŁojasiewicz指数が導出され、正確な収束速度解析が可能になった。
• 臨界点集合に対する局所誤差境界が $ \mathrm{dist}^2(X, \mathcal{X}_h) = \sum_{i \neq j} \|Y_{ij}\|_F^2 + \sum_i \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) $ として確立され、収束証明の根幹をなす。
• 最小固有値が単純であるか、ヘッシアンが正定値であるかの要件なしに、ラインサーチ法の線形収束が証明された。
• $ n > 1 $ であっても、固有値の重複度が1より大きい場合でも、線形収束が達成され、従来の制限を克服した。
• 直交プロクラステス問題とSVDに基づく誤差境界技術により、鋭い推定値 $ v_i^* = \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) $ が得られ、解析の中心的役割を果たす。
• 本結果は、標準的再帰的写像やArmijo型ラインサーチを用いる広範なクラスのラインサーチ法に適用可能であり、弱い仮定のもとで成立する。