[論文レビュー] Polynomial-time Tensor Decompositions with Sum-of-Squares

Tengyu Ma, Jonathan Shi+1 more|arXiv (Cornell University)|Oct 6, 2016

Tensor decomposition and applications参考文献 3被引用数 14

ひとこと要約

本稿では、多項式時間におけるテンソル分解のための平方和に基づくアルゴリズムを提示する。この手法により、滑らかさ解析下での過超過4テンソルに対して、初めてのロバストで多項式時間の保証が達成され、かつ、従来の準多項式時間問題（例えば、ランダムな過超過3テンソルの分解や、定数スパarsityを持つ過超過辞書の学習）が多項式時間に短縮される。主な革新点は、スペクトルギャップを小さく保つために、疑似分布から導かれるモーメント行列におけるスペクトルギャップを制御するエントロピーにインspiredされた行列制約を導入した平方和緩和のスペクトル解析にあり。

ABSTRACT

We give new algorithms based on the sum-of-squares method for tensor decomposition. Our results improve the best known running times from quasi-polynomial to polynomial for several problems, including decomposing random overcomplete 3-tensors and learning overcomplete dictionaries with constant relative sparsity. We also give the first robust analysis for decomposing overcomplete 4-tensors in the smoothed analysis model. A key ingredient of our analysis is to establish small spectral gaps in moment matrices derived from solutions to sum-of-squares relaxations. To enable this analysis we augment sum-of-squares relaxations with spectral analogs of maximum entropy constraints.

研究の動機と目的

• 次元数を超える成分数を有する過超過設定におけるテンソル分解の多項式時間アルゴリズムの開発。
• 特に、滑らかさ解析モデル下での過超過4テンソル分解におけるノイズに対するロバスト性の確保。
• ランダムな過超過3テンソルや定数スパarsityを持つ過超過辞書学習に対する、従来の準多項式時間アルゴリズムの改善。
• 疑似分布から導かれるモーメント行列のスペクトルギャップを分析することで、平方和緩和の理論的保証を確立すること。

提案手法

• アルゴリズムは、テンソル成分上の疑似分布を構築するための平方和緩和を用い、高次モーメントにおける凸最適化を可能にする。
• 主な技術的特徴として、スペクトルノルムを制御し、モーメント行列におけるスペクトルギャップを小さく保つために、最大エントロピー制約のスペクトル的類似物を平方和緩和に組み込む。
• ラウンディングは、疑似分布から導かれるモーメント行列の固有値分解により実行され、近似的なテンソル成分が回復される。
• 本手法は、2段階のプロセスとして、テンソルパワー法と行列パワー法を統合する：まず導出された行列の最大固有ベクトルを回復し、次にテンソル反復によりそれを精緻化する。
• 解析では、固有値の入れ子性と測度集中を用いた、ガウス確率変数を用いて成功確率を増幅する新しいスペクトルギャップの議論を導入する。
• 全成分の回復のため、複数の独立した試行を実行し、高速行列乗算を用いることで、O(d^{1+ω})の実行時間（ωは行列乗算指数）を達成する。

実験結果

リサーチクエスチョン

• RQ1 平方和緩和を用いて、特にランクが d^{3/2}/log^O(1)(d) までの3テンソルに対して、過超過設定下で多項式時間のテンソル分解を達成できるか。
• RQ2 入力が微小な確率的摂動を受ける滑らかさ解析モデル下で、過超過4テンソル分解に対してロバストな保証を提供することは可能か。
• RQ3 スペクトル制約を用いて平方和緩和を強化することで、モーメント行列におけるスペクトルギャップを小さく保つことは可能か。これにより、効果的なラウンディングが可能になるか。
• RQ4 このフレームワークを、分離されたまたはほぼ等方的成分を有するテンソルに拡張できるか。その場合の精度と実行時間のトレードオフは何か。
• RQ5 成分ベクトルの等方性仮定を緩和する際、誤差許容度と成功確率のトレードオフはどのようなものか。

主な発見

• 本稿では、滑らかさ解析モデル下での過超過4テンソルのロバストな分解に対して、初めての多項式時間アルゴリズムを達成し、重要な未解決問題を解決した。
• ランダムな過超過3テンソル（ランク n ≤ d^{3/2}/log^O(1)(d)）に対しても、本アルゴリズムは多項式時間で動作し、従来の準多項式時間保証を改善した。
• スペクトルノルムの誤差バウンド下で、高確率的に各成分ベクトルの誤差が 1/(2d) + ||T - ∑a_i^{⊗3}||_{{1},{2},{3}} 以下に抑えられることを示した。
• 全成分の回復にかかる実行時間は、O(d^{1+ω}) · (log d)^{O(1)} であり、高速行列乗算と並列化により達成された。ここで ω は行列乗算指数である。
• 本アルゴリズムの成功確率は、(log d)^{O(1)} 回の繰り返しにより Ω(1) に増幅可能であり、多項式実行時間の維持が保証される。
• モーメント行列における最大固有値と第二固有値の間のスペクトルギャップが、少なくとも 1 + 1/log d に保証され、パワー法による安定回復が可能となった。