[論文レビュー] Spectral algorithms for tensor completion

Andrea Montanari, Nike Sun|arXiv (Cornell University)|Dec 23, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用数 7

ひとこと要約

本稿では、高レベルの和の平方（SOS）法と同等のサンプル複雑度を達成するが、計算コストが著しく低い、新しいスペクトル的手法を提案する。対称的3次テンソルの場合、SOS法が要求する $rd^{3/2}$ のサンプルサイズを満たす一方で、ランク条件を弱める（$r \ll d^{3/4}$）ことで、スペクトル法の有効なランク範囲を拡大する。また、高アスペクト比条件下での精密な特異空間推定を可能にする、新たなアンフォールディングに基づくアプローチを導入し、単純なスペクトル法を改善する。

ABSTRACT

In the tensor completion problem, one seeks to estimate a low-rank tensor based on a random sample of revealed entries. In terms of the required sample size, earlier work revealed a large gap between estimation with unbounded computational resources (using, for instance, tensor nuclear norm minimization) and polynomial-time algorithms. Among the latter, the best statistical guarantees have been proved, for third-order tensors, using the sixth level of the sum-of-squares (SOS) semidefinite programming hierarchy (Barak and Moitra, 2014). However, the SOS approach does not scale well to large problem instances. By contrast, spectral methods --- based on unfolding or matricizing the tensor --- are attractive for their low complexity, but have been believed to require a much larger sample size. This paper presents two main contributions. First, we propose a new unfolding-based method, which outperforms naive ones for symmetric $k$-th order tensors of rank $r$. For this result we make a study of singular space estimation for partially revealed matrices of large aspect ratio, which may be of independent interest. For third-order tensors, our algorithm matches the SOS method in terms of sample size (requiring about $rd^{3/2}$ revealed entries), subject to a worse rank condition ($r\ll d^{3/4}$ rather than $r\ll d^{3/2}$). We complement this result with a different spectral algorithm for third-order tensors in the overcomplete ($r\ge d$) regime. Under a random model, this second approach succeeds in estimating tensors of rank $d\le r \ll d^{3/2}$ from about $rd^{3/2}$ revealed entries.

研究の動機と目的

• テンソル補完における計算的に効率的なスペクトル法と統計的に最適な和の平方（SOS）法の間のギャップを埋めること。
• 対称的 $k$-次テンソルに対して、標準的なアンフォールディングを上回る性能を示す、新たなアンフォールディングに基づくスペクトルアルゴリズムを開発すること。
• 多項式時間で動作する一方で、SOS法と同等のサンプル複雑度（$rd^{3/2}$ エントリ）を達成すること。
• ランダムモデルのもとで、$r \geq d$ の過剰なランク領域（overcomplete regime）に対応する第二のスペクトル法を提案し、成功確率が高いことを示すこと。
• 大きなアスペクト比を示す部分的に観測された行列における特異空間推定に関する理論的保証を確立すること。

提案手法

• 部分的に観測された高アスペクト比行列における精密な特異空間推定を活用する、新たなアンフォールディングに基づくスペクトルアルゴリズムを提案する。
• 対角成分およびクロス成分におけるグラム行列のスペクトルノルムの新たな解析を導入し、デカップリングおよび切り捨てられたベルヌーイ不等式を用いる。
• スペクトル分解に伴って生じる確率的行列和の作用素ノルムを制御するため、行列ラデマッハおよびガウスの濃度不等式を適用する。
• 一貫性仮定（A1–A3）とランダムベクトルモデルを用いて、特異値および内積の挙動に関する高確率的境界を導出する。
• クロス成分のグラム行列が対角成分よりもスペクトルノルムが小さいことを示すための収縮論法を用いる。
• 最小非ゼロ特異値とスペクトルギャップの比に依存する摂動境界を介して、特異空間推定誤差を分析する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル法は、計算的に効率的である一方で、テンソル補完において和の平方（SOS）法と同等のサンプル複雑度を達成できるか？
• RQ2 アンフォールディングに基づくスペクトル法の性能は、特に高次元設定下でのアンフォールディング行列のアスペクト比にどのように依存するか？
• RQ3 ランク $r$ が次元 $d$ を超える場合、スペクトル法が低ランクテンソルを回復するのに必要な最小サンプルサイズは何か？
• RQ4 新たなアンフォールディングスキームは、対称テンソルにおいて、標準的なマトリシゼーション（matricization）を上回る特異空間推定の正確さを達成できるか？
• RQ5 スペクトル法が $O(rd^{3/2})$ エントリから真のテンソルを回復できる、鋭い条件は何か？

主な発見

• 提案されたスペクトル法は、対称的3次テンソルに対して $O(rd^{3/2})$ のサンプル複雑度を達成し、6段階の和の平方階層から得られる最良の既知の結果と一致する。
• アルゴリズムは $r \ll d^{3/4}$ の条件下で成功するが、これはSOS法が要求する $r \ll d^{3/2}$ の条件よりも弱く、スペクトル法が有効に機能するランク範囲を拡大する。
• 過剰なランク領域（$d \leq r \ll d^{3/2}$）では、ランダムモデルのもとで $O(rd^{3/2})$ の観測エントリを用いて、高い確率で成功する第二のスペクトル法を提案する。
• グラム行列の対角成分のスペクトルノルムは、$\Omega\left(\frac{(1 + r/d)^{3}}{\log^{3/5} d}\right)$ で下から抑えられ、信号強度の下界を確立する。
• グラム行列のクロス成分のスペクトルノルムは、$O\left(\frac{(\log d)^4 \tau^3}{d^{1/2}} \max\{r/d, \tau^2\}\right)$ で抑えられ、仮定された一貫性条件のもとで対角成分に比べて無視できることが示される。
• 解析により、部分的に観測された行列の特異空間が、$O(rd^{3/2})$ エントリから一貫して推定可能であることが示され、これは、軽微な一貫性仮定のもとで、アスペクト比が大きくても成り立つ。