[論文レビュー] A Robust Spectral Algorithm for Overcomplete Tensor Decomposition

Samuel B. Hopkins, Tselil Schramm+1 more|arXiv (Cornell University)|Mar 5, 2022

Tensor decomposition and applications被引用数 14

ひとこと要約

本稿では、ランクが $ d^2 $ まで可能な4次テンソルの過定テンソル分解に対して、半定値計画法を用いずに線形代数的演算に依存する、頑健なスペクトル的手法を提示する。$ \tilde{O}(n^2 d^3) $ の実行時間と、スペクトルノルムが有界な摂動に対して頑健であることを実現し、ややいびつな代数的非退化条件のもとで、Sum-of-Squares（SoS）法と同等の頑健性を達成するが、はるかに高速な計算を実現する。

ABSTRACT

We give a spectral algorithm for decomposing overcomplete order-4 tensors, so long as their components satisfy an algebraic non-degeneracy condition that holds for nearly all (all but an algebraic set of measure $0$) tensors over $(\mathbb{R}^d)^{\otimes 4}$ with rank $n \le d^2$. Our algorithm is robust to adversarial perturbations of bounded spectral norm. Our algorithm is inspired by one which uses the sum-of-squares semidefinite programming hierarchy (Ma, Shi, and Steurer STOC'16, arXiv:1610.01980), and we achieve comparable robustness and overcompleteness guarantees under similar algebraic assumptions. However, our algorithm avoids semidefinite programming and may be implemented as a series of basic linear-algebraic operations. We consequently obtain a much faster running time than semidefinite programming methods: our algorithm runs in time $ ilde O(n^2d^3) \le ilde O(d^7)$, which is subquadratic in the input size $d^4$ (where we have suppressed factors related to the condition number of the input tensor).

研究の動機と目的

• 4次テンソルの過定テンソル分解のための高速で頑健なアルゴリズムの開発。
• 半定値計画法の計算コストを回避しつつ、敵対的摂動に対して頑健であることを維持する。
• ランク $ n \leq d^2 $ のテンソルに対して、ほとんどすべてのテンソルで成り立つ代数的非退化条件のもとで分解を達成する。
• Sum-of-Squares法と同等の保証を持つが、実行時間が低い、効率的で証明可能に頑健なスペクトル的手法の提供。

提案手法

• アルゴリズムは、成分をスペクトル的手法で識別可能になる高次元空間にテンソルを変換するリフトステップを用いる。
• 正規化されたテンソル成分を可能にするホワイトニング手順を採用し、二乗成分の安定回復を可能にする。
• ラウンド段階では、スペクトル整合性と直交性条件のテストを通じて候補成分を抽出する。
• 摂動の影響を制限し、頑健性を保証するために、行列集中とデカップリング不等式に依存する。
• 実行時間を最適化するために、基本的な線形代数的演算を用い、半定値計画法を回避し、$ \tilde{O}(n^2 d^3) $ 時間を達成する。
• スペクトルノルム解析と行列ベルンシュタイン不等式を用い、ランダムテンソルの仮定のもとで頑健性を確立する。

実験結果

リサーチクエスチョン

• RQ1 半定値計画法に依存せず、スペクトル的手法で過定4次テンソルを効率的に分解できるか？
• RQ2 過定状態（$ n \leq d^2 $）におけるテンソル成分の一意性と同定可能性を保証する条件は何か？
• RQ3 線形代数的演算のみで、敵対的摂動に対してどのように頑健性を達成できるか？
• RQ4 このような頑健でSDP非依存のスペクトル的アルゴリズムの実行時間複雑度は何か？
• RQ5 ランダムテンソルの条件数をバインドすることで、アルゴリズムの安定性を保証できるか？

主な発見

• アルゴリズムは $ \tilde{O}(n^2 d^3) \leq \tilde{O}(d^7) $ 時間で実行され、入力サイズ $ d^4 $ に対して二次未満であり、半定値計画法の手法よりも顕著に高速である。
• スペクトルノルムが有界な摂動に対して頑健であり、Sum-of-Squares法と同等の保証を達成する。
• ランク $ n \leq d^2 $ のテンソルにおいて、$ (\mathbb{R}^d)^{\otimes 4} $ の測度ゼロ集合を除き、すべてのテンソルで成り立つ代数的非退化条件のもとで動作する。
• ランダムテンソルの条件数は高確率で有界であり、アルゴリズムの安定性と収束性を支持する。
• 行列デカップリングとベルンシュタイン不等式を用いて、リフト行列がスケーリングされた単位行列に近いことを証明し、成分回復を可能にする。
• 成分の弱い確率的仮定のもとで、最終的なアルゴリズムは高確率でテンソル成分を回復する。