[論文レビュー] On the convergence of higher-order orthogonality iteration

Yangyang Xu|arXiv (Cornell University)|Apr 2, 2015

Tensor decomposition and applications参考文献 17被引用数 4

ひとこと要約

本稿では、Kurdyka-Łojasiewicz (KL) 性質を満たす条件下で収束を保証するグリーディーな変種を導入することで、テンソル低多次元ランク近似に対する高次正則反復法（HOOI）のグローバル収束を確立した。反復列にブロック非退化クラスタ点が存在する場合、HOOIは臨界点に収束することを証明し、局所最適解に近い初期化では局所最適解に収束することを示した。これは、HOOI収束に関する長年の未解決問題を解決するものである。

ABSTRACT

The higher-order orthogonality iteration (HOOI) has been popularly used for finding a best low-multilinear-rank approximation of a tensor. However, its iterate sequence convergence is still an open question. In this paper, we first analyze a greedy HOOI, which updates each factor matrix by selecting from the best candidates one that is closest to the current iterate. Assuming the existence of a block-nondegenerate limit point, we establish its global convergence through the so-called Kurdyka-Lojasiewicz (KL) property. In addition, we show that if the starting point is sufficiently close to any block-nondegenerate globally optimal solution, the greedy HOOI produces a sequence convergent to a globally optimal solution. Relating the iterate sequence by the original HOOI to that by the greedy HOOI, we then show that the same convergence results hold for the original HOOI and thus positively address the open question.

研究の動機と目的

• 高次正則反復法（HOOI）がテンソル低多次元ランク近似に対してグローバルに収束するかどうかという長年の未解決問題に取り組む。
• 各ステップで最良の候補を選択するグリーディー変種を分析することで、HOOIの収束を確立する。
• ブロック非退化性の仮定の下で、元のHOOIの反復列がグリーディーHOOIと関係することを示し、収束を導く。
• 初期化点がブロック非退化局所最大値点に十分近い場合に、HOOIが局所最適な解に収束する条件を提供する。
• KL性質とブロック非退化性の下で、HOOIが生成する多次元部分空間列がグローバルに収束することを示す。

提案手法

• 各反復で、現在の反復点に最も近い候補からなる集合から因子行列を選択するグリーディーHOOI変種を提案する。
• ブロック非退化クラスタ点の仮定の下で、Kurdyka-Łojasiewicz (KL) 性質を用いてグリーディーHOOIのグローバル収束を確立する。
• 初期点が十分にブロック非退化局所最大値点に近い場合、元のHOOIの反復列とグリーディーHOOIの反復列が同一の多次元部分空間射影を生成することを示し、両者の関係を確立する。
• 各因子行列について、Stiefel多様体上でのヘッセ行列の負定値性としてブロック非退化性を定義し、臨界点の安定性を保証する。
• 摂動解析と特異値ギャップ条件（σ_{r_n}(G_n^k) > σ_{r_n+1}(G_n^k)）を用いて、更新時に支配的特異部分空間の一意選択を保証する。
• 元のHOOIとグリーディーHOOIの反復列間で目的関数値と部分空間射影が等価であることを活用し、収束保証を移転する。

実験結果

リサーチクエスチョン

• RQ1 高次正則反復法（HOOI）はテンソル低多次元ランク近似に対してグローバルに収束するか？
• RQ2 修正されたグリーディーHOOI変種において、Kurdyka-Łojasiewicz (KL) 性質のもとで収束を保証できるか？
• RQ3 元のHOOIの反復列が臨界点または局所最大値点に収束するための条件は何か？
• RQ4 グリーディーHOOIと元のHOOIは、反復列および多次元部分空間収束の観点でどのように関係するか？
• RQ5 どのような初期化条件下でHOOIは局所最適な多次元部分空間に収束するか？

主な発見

• 反復列にブロック非退化クラスタ点が存在する場合、グリーディーHOOIは臨界点およびテンソル近似問題のブロックワイド最大値点にグローバルに収束する。
• 初期点が十分にブロック非退化局所最大値点に近い場合、グリーディーHOOIはその局所最大値点に収束する。
• 反復列にブロック非退化クラスタ点が存在する場合、元のHOOI法は多次元部分空間列に関してグローバルに収束する。
• HOOIが生成する多次元部分空間列は、臨界点かつ目的関数のブロックワイド最大値点に収束する極限点に到達する。
• 初期点がブロック非退化局所最大値点に十分近い場合、元のHOOIの多次元部分空間列がグリーディーHOOIのそれと一致することを示すことにより、元のHOOIの収束を確立した。
• ブロック非退化性は、Stiefel多様体上でのヘッセ行列の負定値性と同値であり、収束安定性および局所収束保証のための必要十分条件である。