[論文レビュー] Convergence results for projected line-search methods on varieties of low-rank matrices via \L{}ojasiewicz inequality

Reinhold Schneider, André Uschmajew|arXiv (Cornell University)|Feb 21, 2014

Advanced Optimization Algorithms Research参考文献 41被引用数 9

ひとこと要約

本稿は、低ランク行列の多様体（ランク ≤ k）上で投影線探索法の収束を、投影勾配のロジャツェヴィッチ不等式を用いて確立する。リーマン幾何学的最適化を滑らかでない閉包 M≤k に拡張し、接錐と距離射影を用いることで、実解析的関数に対してグローバル収束を証明し、曲率の有界性を仮定せず、臨界点が滑らかなランク-k 多様体上にあるか、勾配がゼロである点にあることを示す。

ABSTRACT

The aim of this paper is to derive convergence results for projected line-search methods on the real-algebraic variety $\mathcal{M}_{\le k}$ of real $m imes n$ matrices of rank at most $k$. Such methods extend Riemannian optimization methods, which are successfully used on the smooth manifold $\mathcal{M}_k$ of rank-$k$ matrices, to its closure by taking steps along gradient-related directions in the tangent cone, and afterwards projecting back to $\mathcal{M}_{\le k}$. Considering such a method circumvents the difficulties which arise from the nonclosedness and the unbounded curvature of $\mathcal{M}_k$. The pointwise convergence is obtained for real-analytic functions on the basis of a \L{}ojasiewicz inequality for the projection of the antigradient to the tangent cone. If the derived limit point lies on the smooth part of $\mathcal{M}_{\le k}$, i.e. in $\mathcal{M}_k$, this boils down to more or less known results, but with the benefit that asymptotic convergence rate estimates (for specific step-sizes) can be obtained without an a priori curvature bound, simply from the fact that the limit lies on a smooth manifold. At the same time, one can give a convincing justification for assuming critical points to lie in $\mathcal{M}_k$: if $X$ is a critical point of $f$ on $\mathcal{M}_{\le k}$, then either $X$ has rank $k$, or $ abla f(X) = 0$.

研究の動機と目的

• ランク-k 行列の多様体 Mk が閉じていない非滑らかな曲面であるため生じるリーマン最適化における収束困難を解決すること。
• 特異点における接錐を組み込むことで、閉じた実代数的多様体 M≤k（ランク ≤ k）への線探索法の拡張。
• 実解析的コスト関数に対して、投影勾配のロジャツェヴィッチ不等式を用いて M≤k 上でのグローバル収束を確立すること。
• 事前曲率の有界性を仮定せず、極限点が M≤k の滑らかな部分にある場合にのみ依存して、漸近的収束速度の推定を行うこと。
• M≤k 上の臨界点が、ランク-k 行列であるか、勾配がゼロである点であるという根拠を提示し、全多様体上での実用的最適化を支援すること。

提案手法

• 各反復点における M≤k の接錐に負勾配を射影する。標準のリーマン最適化法で用いられる接空間への射影を置き換える。
• 距離射影リトラクションを用いる：R(X + Ξ) = argmin_{Y ∈ M≤k} ||Y - (X + Ξ)||_F。特異値分解（SVD）を用いて計算可能。
• 強い降下条件と安全対策条件を満たすステップサイズを用いた線探索戦略を適用する。
• 投影勾配のロジャツェヴィッチ勾配不等式を用いて、臨界点への収束を証明する。
• ロジャツェヴィッチパラメータ（θ, Λ）を用いて漸近的収束速度を推定し、再帰的不等式から明示的な上限を導出する。
• f_n、||x_{n+1} - x_n||、および f_θ^n を含む不等式の系列を用いて収束を分析し、θ ∈ (0, 1) の場合の収束速度推定を行う。

実験結果

リサーチクエスチョン

• RQ1 M≤k（Mk の閉包）上で線探索法を用いる場合、曲率の有効性を仮定せず、正則化なしにグローバル収束を達成できるか？
• RQ2 極限点が M≤k の滑らかな部分にある場合、投影勾配のロジャツェヴィッチ不等式がどのように収束を保証するか？
• RQ3 このような手法の漸近的収束速度は何か？ 2次情報が得られない状況でも推定可能か？
• RQ4 f に対する M≤k 上の臨界点が、Mk に属するか、または ∇f(X) = 0 を満たすと仮定するのはなぜ正当化できるか？
• RQ5 理論的枠組みは、タッカー形式やテンソルトレイン形式などの、ランクが有界なテンソル多様体へ拡張可能か？

主な発見

• 実解析的関数に対して、投影線探索法が M≤k 上でグローバル収束することを、投影勾配のロジャツェヴィッチ不等式を用いて確立した。
• 極限点が滑らかな部分 Mk にある場合、曲率の有界性を仮定せず、ロジャツェヴィッチパラメータ θ と Λ のみに依存して収束速度の推定が可能である。
• θ = 1/2 の場合、線形収束が達成される。θ < 1/2 の場合、O(n^{−p}) の形の部分線形収束が得られ、p = θ/(1−2θ) となる。
• 臨界点の条件が正当化された：f が M≤k 上で臨界点 X を持つならば、rank(X) = k であるか、または ∇f(X) = 0 である。
• 数値実験により、M≤k 上の手法がランク不足の問題を回避し、解に収束することが確認されたが、ランク推定は依然として困難である。
• 理論的枠組みは、タッカー形式やテンソルトレイン形式などの、ランクが有界なテンソル多様体へのリーマン最適化の拡張に基盤を提供する。