[論文レビュー] On Tensor Train Rank Minimization: Statistical Efficiency and Scalable Algorithm

Masaaki Imaizumi, Takanori Maehara+1 more|arXiv (Cornell University)|Aug 1, 2017

Tensor decomposition and applications参考文献 29被引用数 23

ひとこと要約

本稿では、テンソル補完のための統計的に効率的でスケーラブルなテンソルトレイン（TT）ランク最小化手法を提案する。凸緩和と誤差バウンディングを導入し、時間計算量をテンソルの順序Kに対して指数的から二次的へと削減するランダム化逐次最小二乗法（TT-RALS）アルゴリズムを開発した。理論的保証と実世界データにおける実効性を維持している。

ABSTRACT

Tensor train (TT) decomposition provides a space-efficient representation for higher-order tensors. Despite its advantage, we face two crucial limitations when we apply the TT decomposition to machine learning problems: the lack of statistical theory and of scalable algorithms. In this paper, we address the limitations. First, we introduce a convex relaxation of the TT decomposition problem and derive its error bound for the tensor completion task. Next, we develop an alternating optimization method with a randomization technique, in which the time complexity is as efficient as the space complexity is. In experiments, we numerically confirm the derived bounds and empirically demonstrate the performance of our method with a real higher-order tensor.

研究の動機と目的

• 機械学習応用におけるテンソルトレイン（TT）分解の統計理論の欠如に対処する。
• 特に大きなアンフォールディング行列におけるSVDに起因する、標準TTアルゴリズムの高コストな計算を克服する。
• 低時間計算量を維持しながらも、統計的性能を保つスケーラブルな最適化アルゴリズムを開発する。
• 凸 Tucker 分解と同等の理論的誤差バウンディングを、TTに基づくテンソル補完に対して確立する。
• 数値的妥当性を確認するために、実世界の高次テンソル上で本手法の有効性を検証する。

提案手法

• スチャッテン-1ノルム正則化を用いたTTランク最小化問題の凸緩和を提案し、統計的解析を可能にする。
• 凸TT定式化を用いたテンソル補完における誤差バウンディングを導出。凸 Tucker 分解と同等の統計的効率性を示す。
• 低ランク構造を活用することで、Kに対して指数的から二次的へと時間計算量を削減するランダム化逐次最小二乗法（TT-RALS）を開発。
• ADMMフレームワークにランダム化を統合し、収束を加速しながら理論的誤差保証を維持する。
• 非凸性を引き起こすランダム化に対処するため、モード別最適化とプロキシマル更新、交替方向乗数法を用いる。
• 収縮写像の議論と行列摂動理論を用いて、推定されたTTコアが真の値からどれほど逸脱するかをバウンディングする。

実験結果

リサーチクエスチョン

• RQ1 TT分解の凸緩和は、テンソル補完のための統計的に一貫した推定器を提供できるか？
• RQ2 凸緩和のもとでのTTベースのテンソル補完における理論的誤差バウンディングは何か？
• RQ3 テンソルの順序Kに対して、TT分解の計算コストを指数的から多項式的へと削減できるか？
• RQ4 グローバル収束を失ったとしても、ランダム化逐次最小二乗法（TT-RALS）は統計的一致性を維持できるか？
• RQ5 提案手法は、既存の手法と比較して、実世界の高次テンソルデータ上でどのように性能を発揮するか？

主な発見

• TT分解の凸緩和は、凸 Tucker 分解と同程度にスケーリングされる誤差バウンディングを達成し、統計的効率性を確認した。
• TT-RALSアルゴリズムは、Kに対して指数的から二次的へと時間計算量を削減し、高次テンソルへのスケーラビリティを実現した。
• グローバル収束を失ったとしても、TT-RALSは凸緩和法と同等の理論的誤差バウンディングを維持した。
• 数値実験により、導出された誤差バウンディングが実際の状況でも成り立つことが確認され、欠損したテンソルエントリが正確に回復された。
• 実際の高次テンソルデータに対する実証的結果から、本手法の有効性とスケーラビリティが実世界の設定で示された。
• 特にKが大きい場合において、統計的正確性と計算効率の良好なトレードオフを達成した。