[論文レビュー] On the Convergence of Alternating Least Squares Optimisation in Tensor Format Representations

Mike Espig, Wolfgang Hackbusch+1 more|RWTH Publications (RWTH Aachen)|May 30, 2015

Tensor decomposition and applications参考文献 35被引用数 24

ひとこと要約

この論文は、テンソル表現の多次元構造を活用することで、テンソル形式近似における交互最小二乗（ALS）アルゴリズムのグローバル収束を確立する。弱い条件下でもQ線形収束を証明し、収束速度の正確な解析的表現を提供する。この表現は、カノニカル、CP、テンソルトレイン形式において数値的に検証されている。

ABSTRACT

The approximation of tensors is important for the efficient numerical treatment of high dimensional problems, but it remains an extremely challenging task. One of the most popular approach to tensor approximation is the alternating least squares method. In our study, the convergence of the alternating least squares algorithm is considered. The analysis is done for arbitrary tensor format representations and based on the multiliearity of the tensor format. In tensor format representation techniques, tensors are approximated by multilinear combinations of objects lower dimensionality. The resulting reduction of dimensionality not only reduces the amount of required storage but also the computational effort.

研究の動機と目的

• 従来の局所的収束解析の制限を克服し、テンソル形式表現における交互最小二乗（ALS）アルゴリズムのグローバル収束を確立すること。
• 高次元問題を効率的に解くために不可欠な低ランクテンソル近似の文脈において収束を分析すること。
• テンソル形式の多次元的性質に基づき、ALSのマイクロステップにおける収束速度の厳密な記述を提供すること。
• ヘッセ行列の核に関する仮定に依存しない収束条件を導出することで、テンソル表現における一意でない問題を解消すること。
• 合成的および実世界の例（メタン二電子積分を含む）における数値実験を通じて、理論的収束速度を検証すること。

提案手法

• テンソル形式表現の多次元的構造を活用し、非線形ガウス＝ザイデル収束理論に依存しない収束特性を導出する。
• ALSアルゴリズムを、$P = P_1 \times \cdots \times P_L$ というパラメータ空間上の非線形最適化手法として分析し、二次的汎関数 $F = f \circ U$ を最小化する。
• 導出された線形作用素の特異値を用いてALSマイクロステップの収束速度を導出し、正確な式 $ q_\lambda = \frac{\lambda}{2}\left(3\lambda + \lambda^2 + \sqrt{(3\lambda + \lambda^2)^2 + 4\lambda}\right) $ を得る。
• 直交射影法を用いてALSを最小二乗部分問題に関連付け、パラメータ空間における安定性と収束を保証する。
• パラメータ空間における真の解への収束を数値的に追跡するための接線に基づく角度測度 $ \tan\varphi_{k,l} $ を用いる。
• 合成的および実世界の例（メタン二電子積分を含む）における数値シミュレーションと理論的収束速度を比較し、妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 交互最小二乗（ALS）アルゴリズムが、テンソル形式表現においてどのような条件下でグローバルに収束するか？
• RQ2 テンソル形式の多次元的構造に基づいて、ALSマイクロステップの収束速度の正確な解析的表現を導出可能か？
• RQ3 初期推定値やターゲットテンソルの構造、特に支配的成分を有する場合に、ALSの収束行動はどのように変化するか？
• RQ4 テンソル $ b_\lambda = \bigotimes_{\mu=1}^3 p + \lambda(p\otimes q\otimes q + \cdots) $ において、収束速度とパrameter $ \lambda $ の関係は何か？
• RQ5 理論的収束速度が、部分線形およびQ線形の両領域において、数値実験で正確に再現可能か？

主な発見

• テンソル形式の多次元的構造のおかげで、ヘッセ行列が正定値でない場合でさえも、ALSアルゴリズムは汎関数 $ F = f \circ U $ の最小化点にグローバルに収束する。
• テンソル $ b_2 = \bigotimes_{\mu=1}^3 \begin{pmatrix} 0 \\ 1 \end{pmatrix} $ の例では、ALSはQ超線形収束を示し、収束速度 $ q_\mu = 0 $ である。これは急速な収束を示している。
• テンソル $ b_\lambda $ の例では、収束速度が $ q_\lambda = \frac{\lambda}{2}\left(3\lambda + \lambda^2 + \sqrt{(3\lambda + \lambda^2)^2 + 4\lambda}\right) $ で与えられ、$ \lambda = 0.46 $ のとき $ q_{0.46} = 0.847 $ となる。この値は数値的に確認された。
• $ \lambda = 0.5 $ のとき、収束速度 $ q_{0.5} = 1 $ であり、部分線形収束を示す。一方、$ \lambda < 0.5 $ のとき $ q_\lambda < 1 $ であるため、Q線形収束が確認される。
• 数値結果では、理論的収束速度と観測された比 $ \frac{\tan\varphi_{1,k+1}}{\tan\varphi_{1,k}} $ が完全に一致しており、解析的収束速度の鋭さが裏付けられた。
• メタン二電子積分の実用的例では、ALSはQ線形収束を示し、量子化学分野の実問題への有効性が実証された。