[論文レビュー] Decomposing Overcomplete 3rd Order Tensors using Sum-of-Squares Algorithms

Rong Ge, Tengyu Ma|arXiv (Cornell University)|Apr 21, 2015

Tensor decomposition and applications参考文献 25被引用数 33

ひとこと要約

本稿では、ランクが $ n^{3/2}/\operatorname{poly}\log n $ までに達する過剰な3次テンソルの分解に対して、最初の準多項式時間アルゴリズムを提示する。この手法は、注入ノルムの証明と擬似期待値を用いたテンソル成分の回復に、和の平方（SoS）半定値計画法を用いる。本手法は、超線形ランクの過剰な状況において、従来のアンフォールディングに基づく手法が失敗する中で、デカップリング技術と行列集中不等式を活用して対処する。

ABSTRACT

Tensor rank and low-rank tensor decompositions have many applications in learning and complexity theory. Most known algorithms use unfoldings of tensors and can only handle rank up to $n^{\lfloor p/2 floor}$ for a $p$-th order tensor in $\mathbb{R}^{n^p}$. Previously no efficient algorithm can decompose 3rd order tensors when the rank is super-linear in the dimension. Using ideas from sum-of-squares hierarchy, we give the first quasi-polynomial time algorithm that can decompose a random 3rd order tensor decomposition when the rank is as large as $n^{3/2}/ extrm{polylog} n$. We also give a polynomial time algorithm for certifying the injective norm of random low rank tensors. Our tensor decomposition algorithm exploits the relationship between injective norm and the tensor components. The proof relies on interesting tools for decoupling random variables to prove better matrix concentration bounds, which can be useful in other settings.

研究の動機と目的

• 次元を超えるランクを持つ3次テンソルの分解を効率的に解くアルゴリズムの開発、これは従来の手法が失敗する領域である。
• 行列アンフォールディング技術の制限を克服し、和の平方（SoS）階層の適用範囲を過剰な3次テンソル分解へ拡張すること。
• ランダムな低ランクテンソルの注入ノルムを多項式時間で証明し、強固な成分回復を可能にすること。
• SoSを潜在変数モデルの学習における初期化ツールとして用いる理論的基盤を提供すること。

提案手法

• 和の平方（SoS）半定値計画法を用いて、テンソルの高次モーメントを捉える次数$k$の擬似期待値を構築する。
• デカップリングの議論を用いて、ランダムなテンソル成分の解析に不可欠な改善された行列集中不等式を導出する。
• コーシー・シュバルツとホルダーの不等式を適用し、内積 $\langle a_i, x\rangle^d$ のべきを $d=3$ から $d=k=O(\log n)$ まで引き上げ、平均化の議論を可能にする。
• 貪欲な回復ループを実装：SoSで証明された擬似期待値を用いて、$T(c,c,c)$ の値が大きい単位ベクトル $c$ を反復的に特定する。
• すでに発見済みの成分 $s$ を除外するために、制約集合 $\{\langle s,x\rangle^2 \leq 1/8\}$ を使用する。
• 文献[BKS15]の定理5.2を活用し、$\widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k}$ のとき、ベクトル $c$ が真の成分 $a_i$ から $O(\epsilon)$ 以内に近いことを保証する。

実験結果

リサーチクエスチョン

• RQ1 ランク $m$ が次元 $n$ を超える場合に、過剰な3次テンソル分解を効率的に解くことは可能か？
• RQ2 和の平方階層を用いて、ランダムな低ランクテンソルの注入ノルムを証明することは可能か？
• RQ3 $p=3$ の場合に、SoSベースの手法を用いて、$n^{\lfloor p/2\rfloor}$ のランク制限を超えてテンソル成分を回復することは可能か？
• RQ4 デカップリング技術は、ランダムなテンソル解析における行列集中不等式の改善に寄与するか？
• RQ5 SoSベースのアルゴリズムは、潜在変数モデルの学習における有効な初期化ツールとして機能するか？

主な発見

• 本稿では、ランクが $m = n^{3/2}/\operatorname{poly}\log n$ の場合に、3次テンソル分解のための準多項式時間アルゴリズムを提示し、$p=3$ の場合に $n^{\lfloor p/2\rfloor}$ の壁を破る。
• ランダムな低ランクテンソルの注入ノルムを証明する多項式時間アルゴリズムが提示され、これは成分回復の鍵となる。
• 擬似期待値が $\widetilde{\mathbb{E}}[\langle a_i,x\rangle^k] \geq e^{-\epsilon k}$ を満たす場合、$k = O((\log n)/\epsilon)$ に対して、成分回復が $\|c - a_i\| \leq 0.1$ 以内に達成される。
• アルゴリズムは、ランダムなテンソルモデルにおいて高確率で $n^{O(k)}$ 回の反復を用いて、すべての $m$ 個の成分を回復する。
• 理論的保証は、確率変数のデカップリングと、標準的手法よりもタイトな行列集中不等式の証明に依存する。
• 本手法は、$m \ll n^{3/2}$ の場合でも、偶数次テンソルの既知の $n^{p/2}$ 界と一致する、過剰な状況下での成分回復を可能にする。