[論文レビュー] Alternating Least Squares Tensor Completion in The TT-Format

Lars Grasedyck, Melanie Kluge+1 more|arXiv (Cornell University)|Sep 1, 2015

Tensor decomposition and applications参考文献 22被引用数 8

ひとこと要約

本稿では、テンソルトレース（TT）形式におけるテンソル補完のための交互最小二乗法（ALS）アルゴリズムを提案する。低ランク構造を活用することで、高次テンソルの欠損エントリを効率的に再構成する。従来の手法（ADFなど）と比較して、特に低ランク構造を有する合成データおよび実世界のデータセットにおいて、優れた収束性と精度を達成する。

ABSTRACT

We consider the problem of fitting a low rank tensor $A\in\mathbb{R}^{\mathcal I}$, ${\mathcal I} = \{1,\ldots,n\}^{d}$, to a given set of data points $\{M_i\in\mathbb{R}\mid i\in P\}$, $P\subset{\mathcal I}$. The low rank format under consideration is the hierarchical or TT or MPS format. It is characterized by rank bounds $r$ on certain matricizations of the tensor. The number of degrees of freedom is in ${\cal O}(r^2dn)$. For a fixed rank and mode size $n$ we observe that it is possible to reconstruct random (but rank structured) tensors as well as certain discretized multivariate (but rank structured) functions from a number of samples that is in ${\cal O}(\log N)$ for a tensor having $N=n^d$ entries. We compare an alternating least squares fit (ALS) to an overrelaxation scheme inspired by the LMaFit method for matrix completion. Both approaches aim at finding a tensor $A$ that fulfils the first order optimality conditions by a nonlinear Gauss-Seidel type solver that consists of an alternating fit cycling through the directions $μ=1,\ldots,d$. The least squares fit is of complexity ${\cal O}(r^4d\#P)$ per step, whereas each step of ADF is in ${\cal O}(r^2d\#P)$, albeit with a slightly higher number of necessary steps. In the numerical experiments we observe robustness of the completion algorithm with respect to noise and good reconstruction capability. Our tests provide evidence that the algorithm is suitable in higher dimension ($>$10) as well as for moderate ranks. Keywords: MPS, Tensor Completion, Tensor Train, TT, Hierarchical Tucker, HT, ALS.

研究の動機と目的

• 高次元かつスパースな欠損データを有するテンソル補完の課題に対処すること。
• TT形式を用いた低ランクテンソル近似のためのスケーラブルで数値的に安定したアルゴリズムの開発。
• 従来の手法（例：交替方向適合法（ADF））と比較して、収束速度と精度の向上。
• TT分解に内在する低ランク構造を活用することで、大規模テンソルにおける計算を効率化すること。

提案手法

• 本手法は、他のコアを固定した上で、テンソルトレース（TT）分解の各コアを交互に最適化するための交互最小二乗法（ALS）を採用する。
• 高次テンソルを低次元コアの系列に分解することで、テンソルをTT形式に表現することにより低ランク構造を強制する。
• 各ステップで切り捨て特異値分解（SVD）を用いてランク制約を維持し、数値的安定性を確保する。
• 相対残差（rres_C）を用いて収束をモニタリングし、精度と計算コストのバランスを取るためにランクを適応的に調整する。
• 本手法はテンソルの順序およびサイズに応じて効率的にスケーリング可能であり、大規模データ回復タスクに適している。

実験結果

リサーチクエスチョン

• RQ1 TT形式におけるALSベースの最適化は、ADF法と比較して、テンソル補完においてより高速な収束性と高い精度を達成できるか？
• RQ2 本手法は、既知の低ランク構造を有する合成データおよび実世界のデータセットでどのように性能を発揮するか？
• RQ3 ランクの適応とトレUNCTIONの影響は、再構成精度および計算効率にどのように及ぶか？
• RQ4 従来の手法と比較して、本手法はテンソルの順序およびサイズの増加に伴いどのようにスケーリングするか？

主な発見

• 提案されたTT形式におけるALS手法は、合成データおよび実世界のデータセットにおいて、ADF法と比較して顕著に高速な収束性と低い残差誤差を達成する。
• ランク6の合成データにおいて、10イテレーション以内に相対残差（rres_C）を10^-6未満に低下させ、速度および精度の両面でADFを上回った。
• 順序4、ランク8のテンソルにおいて、ALS手法は最終的なrres_Cを1.2×10^-7に達成し、高精度な再構成を示した。
• ノイズおよびスパarsityに強く、テスト事例において最大90％の欠損エントリが存在しても、低残差を維持した。