[論文レビュー] Convergence of Alternating Least Squares Optimisation for Rank-One Approximation to High Order Tensors

Mike Espig, Aram Khachatryan|arXiv (Cornell University)|Mar 18, 2015

Tensor decomposition and applications参考文献 17被引用数 7

ひとこと要約

この論文は、高次テンソルのランク1近似に対する交替最小二乗（ALS）アルゴリズムの収束行動を分析し、テンソル構造に応じて部分線形、Q線形、Q超線形に収束することが示されている。解析はテンソル形式の多重線形性に依拠し、ロジャシュエイチ不等式や非線形ガウス＝ザイデル収束理論に依存しない理論的裏付けを提供する。

ABSTRACT

The approximation of tensors has important applications in various disciplines, but it remains an extremely challenging task. It is well known that tensors of higher order can fail to have best low-rank approximations, but with an important exception that best rank-one approximations always exists. The most popular approach to low-rank approximation is the alternating least squares (ALS) method. The convergence of the alternating least squares algorithm for the rank-one approximation problem is analysed in this paper. In our analysis we are focusing on the global convergence and the rate of convergence of the ALS algorithm. It is shown that the ALS method can converge sublinearly, Q-linearly, and even Q-superlinearly. Our theoretical results are illustrated on explicit examples.

研究の動機と目的

• ランク1テンソル近似の文脈において、交替最小二乗（ALS）アルゴリズムのグローバル収束および収束速度解析を確立すること。
• 最良の低ランク近似が存在しない可能性がある高次テンソル近似において、最良のランク1近似は常に存在するという事実を踏まえ、収束行動の理解を深めること。
• ロジャシュエイチ勾配不等式や非線形ガウス＝ザイデル収束理論に依存しない、ALS収束の理論的基盤を提供すること。
• テンソル構造および初期条件に応じて、収束速度（部分線形、Q線形、Q超線形）を特定すること。
• 具体的な例を通じて理論的発見を検証すること。例として、直交的分解可能なテンソルおよび電子構造理論からの物理的に意味のあるテンソルを含む。

提案手法

• ALSアルゴリズムは、他の要因を固定した上で1つの要因ベクトルについてのみ目的関数を反復的に最小化する非線形ガウス＝ザイデル法として定式化される。
• 目的関数は、テンソル内積と与えられたテンソル $ b $ を用いた二次形式として定義され、$ \|b\|^2 $ で正規化される。
• 収束解析は、テンソル形式 $ U(p_1, \dots, p_d) = \bigotimes_{\mu=1}^d p_\mu $ の多重線形性に依拠し、反復点の正確な再帰的導出が可能となる。
• 収束速度は、反復点と極限テンソルの間の角度の振る舞いを用いて分析され、近接度の尺度として $ \tan \varphi_k $ が用いられる。
• 理論的収束速度は、比 $ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} $ の漸近的挙動を調べることで導出され、これにより部分線形、Q線形、Q超線形収束が特定される。
• 直交的分解可能なテンソルや摂動を加えたランク1構造を含む、異なる収束領域を示す具体的な例が構築される。

実験結果

リサーチクエスチョン

• RQ1 ランク1テンソル近似に対するALSアルゴリズムは、グローバル収束を達成できるか。その条件は何か。
• RQ2 高次テンソルに対してALS法が示す可能性のある収束速度（部分線形、Q線形、Q超線形）は何か。
• RQ3 初期推定値は、ALSアルゴリズムの収束行動および極限点にどのように影響を与えるか。
• RQ4 テンソル形式の多重線形性を用いて、収束速度を解析的に特定できるか。
• RQ5 直交的分解可能なテンソルや摂動を加えたランク1テンソルなどの異なるテンソル構造は、収束ダイナミクスにどのように影響を与えるか。

主な発見

• 任意の高次テンソルに対して、ALSアルゴリズムは、ランク1テンソルの集合がテンソル空間で閉じていることから、最良のランク1近似にグローバルに収束する。
• ALSの収束速度は、テンソル構造および初期条件に応じて、部分線形、Q線形、Q超線形のいずれかである。
• 例1の直交的分解可能なテンソルでは、初期推定値が主要成分の1つに近い場合、ALSはQ超線形に収束する。
• 例2では、CH₄分子における2電子積分をモデル化した場合、ALSはQ線形に収束し、実応用における実際の収束行動を示している。
• 例3では、摂動を加えたランク1テンソルにおいて、$ \lambda = 0.5 $ の場合に部分線形収束が発生するが、$ \lambda = 0.2 $ の場合にはQ線形収束が観察され、収束速度がパrameter値に依存することを示している。
• 収束速度は $ \tan \varphi_k $ の減衰速度に依存し、$ q_k = \frac{\tan \varphi_{k+1}}{\tan \varphi_k} \to 0 $ であればQ超線形収束、$ q_k \to c \in (0,1) $ であればQ線形収束、$ q_k \to 1 $ であれば部分線形収束を示す。