[論文レビュー] Tensor Completion by Alternating Minimization under the Tensor Train (TT) Model

Wenqi Wang, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Sep 19, 2016

Tensor decomposition and applications参考文献 9被引用数 30

ひとこと要約

本稿では、テンソルトレイン（TT）形式の行列積状態（MPS）表現を用いた交互最小化を用いる、新しいテンソル補完アルゴリズムを提案する。スペクトル初期化とTTコアにおける効率的な最小二乗更新を活用することで、合成データおよび実世界のデータセットにおいて、従来のTTベースおよび低ランクテンソル補完手法と比較して、優れた回復精度と高速な収束を達成する。

ABSTRACT

Using the matrix product state (MPS) representation of tensor train decompositions, in this paper we propose a tensor completion algorithm which alternates over the matrices (tensors) in the MPS representation. This development is motivated in part by the success of matrix completion algorithms which alternate over the (low-rank) factors. We comment on the computational complexity of the proposed algorithm and numerically compare it with existing methods employing low rank tensor train approximation for data completion as well as several other recently proposed methods. We show that our method is superior to existing ones for a variety of real settings.

研究の動機と目的

• 高次テンソルにおける低ランク構造を有する欠損エントリの回復という課題に取り組む。
• 従来のTTベース補完手法が、構造的MPS表現を十分に活用していないという限界を克服する。
• 利用可能なデータに基づくスペクトル初期化を用いることで、収束速度と回復精度を向上させる。
• TT分解のテンソルトレイン形式に特化した効率的な交互最小化フレームワークを開発する。
• 実世界のテンソル補完タスクにスケーリング可能な計算的に扱いやすいアルゴリズムを提供する。

提案手法

• テンソル補完を、行列積状態（MPS）表現を用いたTT分解のコアテンソルに関する最適化問題として定式化する。
• 他のコアを固定した上で、1つのTTコアを逐次更新する交互最小化を適用し、各更新に対して最小二乗部分問題を解く。
• 収束に必要な反復回数を削減するため、利用可能なデータに基づくスペクトル初期化を用いる。
• テンソルの展開操作（モード-k展開、左/右展開）を活用して、更新を効率的に計算するとともに、低ランク構造を強制する。
• テンソル接続積とトレースに基づく表現を用いて、TTコアの更新間で一貫性を維持する。
• 最適化中にTT形式の階層的構造を活用することで、数値的安定性と計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 TTコアにおける交互最小化は、既存のTTベース手法と比較してテンソル補完性能を向上させることができるか？
• RQ2 観測エントリに基づくスペクトル初期化は、TTベーステンソル補完における収束速度を向上させるか？
• RQ3 本手法は、最先端の低ランクテンソル補完アルゴリズムと比較して、回復精度と計算効率の面で優れているか？
• RQ4 TT形式下での本手法の交互最小化アルゴリズムの計算複雑度は何か？
• RQ5 本アルゴリズムは、欠損エントリを有する実世界のデータセットに効果的にスケーリング可能か？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、既存のTTベースおよび低ランクテンソル補完手法と比較して優れた回復精度を達成する。
• スペクトル初期化は収束に必要な反復回数を顕著に削減し、計算効率を向上させる。
• 本手法は、欠損率が60％に達するような多様なデータ設定においても、強力な性能を示す。
• 計算複雑度は管理可能でスケーラブルであることが示され、大規模テンソル補完タスクに適している。
• 実験結果により、TT分解におけるMPS構造を活用することで、より優れた最適化ダイナミクスと向上した回復品質が得られることを確認した。