[論文レビュー] On Polynomial Time Methods for Exact Low Rank Tensor Completion

Dong Xia, Ming Yuan|arXiv (Cornell University)|Feb 22, 2017

Tensor decomposition and applications参考文献 23被引用数 15

ひとこと要約

本稿では、スペクトル法による初期化を伴う勾配降下法を用いて、3次テンソルにおける核ノルム最小化と同等のサンプル複雑度を達成する多項式時間アルゴリズムを提案する。$d \times d \times d$ のマルチラインアーランク $(r,r,r)$ を持つテンソルは、高確率で $O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$ 個のエントリから回復可能であり、最新のサンプルサイズ要件を満たしつつ、計算的に効率的かつ構造に依存しない。

ABSTRACT

In this paper, we investigate the sample size requirement for exact recovery of a high order tensor of low rank from a subset of its entries. We show that a gradient descent algorithm with initial value obtained from a spectral method can, in particular, reconstruct a ${d imes d imes d}$ tensor of multilinear ranks $(r,r,r)$ with high probability from as few as $O(r^{7/2}d^{3/2}\log^{7/2}d+r^7d\log^6d)$ entries. In the case when the ranks $r=O(1)$, our sample size requirement matches those for nuclear norm minimization (Yuan and Zhang, 2016a), or alternating least squares assuming orthogonal decomposability (Jain and Oh, 2014). Unlike these earlier approaches, however, our method is efficient to compute, easy to implement, and does not impose extra structures on the tensor. Numerical results are presented to further demonstrate the merits of the proposed approach.

研究の動機と目的

• 正確な低ランクテンソル補完における理論的サンプルサイズ要件と計算的に効率的なアルゴリズムの間のギャップを埋める。
• テンソルに直交的分解可能性などの構造的仮定を課さずに、タイトなサンプルサイズ境界を達成する手法を開発する。
• 高次元で低ランクのテンソルに対して計算的に実行可能でスケーラブルなアルゴリズムを保証する。
• 勾配降下法がスペクトル初期化を用いることで、最小限のサンプリング条件下でも正確な回復を達成できることを示す。
• 第三順位テンソル補完の文脈において、収束性とサンプル複雑度に関する理論的保証を提供する。

提案手法

• 2段階のアルゴリズムを提案：まず、スペクトル法により真の低ランクテンソルに近い初期推定値を提供する。
• 次に、観測されたエントリを用いて、グリーディアン多様体上での勾配降下法を適用して推定値を改善する。
• 局所的凸性と真の解の近傍における定常点の一意性を保証するためのペナルティ関数を採用する。
• 低ランクテンソル要因の最適化のため、グリーディアンの積多様体上での正確な線分探索を用いた射影勾配降下フレームワークを採用する。
• リーマン的勾配を分析し、真の解からの測地的距離の観点からそのノルムの下界を確立する。
• 最適化のランドスケープの挙動を制御するために、高確率的集中不等式と特異値ノルムの境界に依存する。

実験結果

リサーチクエスチョン

• RQ1 多項式時間アルゴリズムが、核ノルム最小化と同等のサンプル複雑度を達成しつつ、正確なテンソル補完を実現できるか？
• RQ2 スペクトル初期化を伴う勾配降下法が、最小限のサンプリング条件下でも低ランクテンソル補完においてグローバル最適解に収束するか？
• RQ3 直交的分解可能性などの構造的仮定を回避しつつ、タイトなサンプルサイズ要件を維持できるか？
• RQ4 非凸的で効率的な最適化アプローチを用いた場合、正確な回復に必要な理論的サンプル複雑度は何か？
• RQ5 本手法は、アンフォールディングベースや核ノルムベースの手法と比較して、どの程度サンプル効率が優れているか？

主な発見

• 提案手法は、$d \times d \times d$ のマルチラインアーランク $(r,r,r)$ を持つテンソルを、$O(r^{7/2}d^{3/2}\text{log}^{7/2}d + r^7d\text{log}^6d)$ 個の観測エントリを用いて正確に回復可能である。
• $r = O(1)$ の場合、サンプルサイズ要件は $O(d^{3/2}\text{log}^{7/2}d)$ に簡略化され、核ノルム最小化による既存の最良の境界と一致する。
• 計算的に効率的であり、NP困難な凸緩和を回避し、構造的制約なしに実装可能である。
• 理論的分析により、スペクトル初期化を伴う勾配降下法が高確率的条件下で一意なグローバル最小値に収束することが示された。
• リーマン的勾配ノルムは、真の解からの測地的距離の定数倍で下界が保証されており、正しい低ランクテンソルへの収束を保証する。
• 本アルゴリズムは、テンソルが低ランクでありながら高次元であっても、タイトなサンプル複雑度を維持するため、実世界の応用に適している。