[論文レビュー] Fast and Accurate Tensor Completion with Tensor Trains: A System Identification Approach.

Ching Yun Ko, Kim Batselier+2 more|arXiv (Cornell University)|Apr 17, 2018

Tensor decomposition and applications被引用数 7

ひとこと要約

本稿では、テンソルトレイン形式を用い、反復的に最適化された低ランクコアを備えた交互線形スキームにより、システム同定問題として定式化された高速かつ高精度なテンソル補完手法を提案する。本手法は、最先端の手法と比較して最大23倍の高速化を達成しながら、同等の精度を維持する。

ABSTRACT

We propose a novel tensor completion approach by equating it to a system identification task. The key is to regard the coordinates and values of the known entries as inputs and outputs, respectively. By assuming a tensor train format initialized with low-rank tensor cores, the latter are iteratively identified via a simple alternating linear scheme to reduce residuals. Experiments verify the superiority of the proposed scheme in terms of both speed and accuracy, where a speedup of up to 23$ imes$ is observed compared to state-of-the-art tensor completion methods at a similar accuracy.

研究の動機と目的

• 大規模テンソルに対して計算が遅いという既存のテンソル補完手法の課題に対処すること。
• システム同定の原則を活用して、テンソル補完の効率性と精度を向上させること。
• テンソルのサイズやスパarsityに応じてスケーリングが良く、低ランク構造を維持すること。
• 再構成品質を損なわず、計算時間を短縮すること。

提案手法

• 既知のテンソルエントリの座標を入力とし、その値を出力として扱い、問題をシステム同定タスクとしてモデル化する。
• 低ランクテンソルコアを有するテンソルトレイン（TT）形式を、基本構造として仮定する。
• 予測値と既知の値の間の残差誤差を最小化するために、反復的にコアを更新する。
• 収束を速くするために、低ランク近似を用いてTT形式の初期化を実施する。
• 他のコアを固定した上で1つのコアを最適化する操作を交互に繰り返し、全体の最適化問題を線形部分問題の系列に還元する。

実験結果

リサーチクエスチョン

• RQ1 テンソル補完を効果的にシステム同定問題として再定式化できるか？
• RQ2 提案手法のシステム同定アプローチは、既存のテンソル補完手法と比較して、速度と精度の面でどのように差をつけるか？
• RQ3 反復的なコアの最適化を伴うテンソルトレイン形式は、計算効率をどの程度向上できるか？
• RQ4 大規模またはスパースなテンソルにおいて、本手法は顕著な高速化を達成しながらも、高い精度を維持できるか？

主な発見

• 提案手法は、最先端のテンソル補完手法と同等の精度で最大23倍の高速化を達成する。
• 本手法は、大規模かつスパースなテンソルデータセットに対しても高い再構成精度を維持する。
• コアの最適化に用いる交互線形スキームは迅速に収束し、全体の高速化に貢献する。
• テンソルトレイン形式の使用により、特に高次元テンソルにおいて、効率的な表現と計算が可能になる。