[論文レビュー] Efficient Low Rank Tensor Ring Completion

Wenqi Wang, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Jul 23, 2017

Tensor decomposition and applications参考文献 11被引用数 4

ひとこと要約

本稿は、行列積状態（MPS）表現を用いた低ランクテンソルリング（TR）補完のための効率的な交互最小化アルゴリズムを提案する。スペクトル初期化と最小二乗部分問題を活用することで、画像および動画データセットにおいて、テンソルトレイン（TT）補完より優れた性能を示す。これは、TRの表現力の高さと置換不変構造に起因する。

ABSTRACT

Using the matrix product state (MPS) representation of the recently proposed tensor ring decompositions, in this paper we propose a tensor completion algorithm, which is an alternating minimization algorithm that alternates over the factors in the MPS representation. This development is motivated in part by the success of matrix completion algorithms that alternate over the (low-rank) factors. In this paper, we propose a spectral initialization for the tensor ring completion algorithm and analyze the computational complexity of the proposed algorithm. We numerically compare it with existing methods that employ a low rank tensor train approximation for data completion and show that our method outperforms the existing ones for a variety of real computer vision settings, and thus demonstrate the improved expressive power of tensor ring as compared to tensor train.

研究の動機と目的

• テンソルトレイン（TT）分解におけるデータ補完の限界、例えばランク制約や置換不変でない構造の問題を解決すること。
• TRの巡回的かつ置換不変の性質を活用した、新たなテンソルリング（TR）補完アルゴリズムの開発。
• 計算複雑度の低減を目的としたスペクトル初期化と効率的な最小二乗部分問題の定式化。
• 実世界のコンピュータビジョンデータセットにおける提案手法の実験的検証を通し、既存のTTベース手法よりも優れた回復精度を示すこと。

提案手法

• アルゴリズムは、テンソルリング分解の行列積状態（MPS）表現における低ランク要因の上での交互最小化を用いる。
• TT近似法[10]を欠損データがゼロ埋めされた状態に拡張したスペクトル初期化を提案する。
• 交互最小化における各部分問題を最小二乗問題に再定式化することで、計算効率を著しく向上させる。
• TR分解におけるトレース演算を活用し、コアの巡回的シフトを可能にすることで、構造的柔軟性を向上させる。
• 低ランク仮定の下で、TR要因に関する最適化により欠損エントリを補完することで、不完全なデータを処理する。
• 計算および記憶量の複雑度を解析し、テンソルサイズとランクに応じた良好なスケーリングを示す。

実験結果

リサーチクエスチョン

• RQ1 TR要因における交互最小化アルゴリズムは、既存のTTベース手法よりも優れたテンソル補完性能を達成できるか？
• RQ2 スペクトル初期化は、ランダムまたはヒューリスティック初期化と比較して、TR補完における収束性と精度をどのように改善するか？
• RQ3 TRの置換不変構造は、順序付けられておりランク制約があるTT形式と比較して、データ回復にどの程度寄与するか？
• RQ4 最小二乗部分問題を用いた交互最小化によるTR補完の計算複雑度はどの程度か？
• RQ5 提案手法は、画像および動画補完といった実世界のコンピュータビジョンタスクにおいて、どの程度の性能を発揮するか？

主な発見

• 提案されたTR補完アルゴリズムは、Einsteinの画像、Extended YaleFace Dataset B、高速度動画データセットにおいて、既存のテンソルトレイン（TT）補完手法を上回る性能を示した。
• テンソルリング分解の使用により、境界要因にランク制約がないことと、より表現力の高い構造のおかげで、TTより優れたデータ回復が可能になった。
• スペクトル初期化は、標準的な初期化戦略と比較して、収束速度と最終的な再構成精度を顕著に向上させた。
• 部分問題の最小二乗問題への再定式化により、イテレーションごとの計算複雑度が低減され、より大きなテンソルへのスケーラビリティが実現された。
• テストされたデータセットにおいて、PSNRおよびSSIMの観点から最先端の性能を達成し、補完タスクにおいてTRがTTを上回ることの優位性を示した。