[論文レビュー] Tensor principal component analysis via sum-of-squares proofs

Samuel B. Hopkins, Jonathan Shi+1 more|arXiv (Cornell University)|Jul 12, 2015

Sparse and Compressive Sensing Techniques参考文献 4被引用数 50

ひとこと要約

本稿では、信号対雑音比 τ ≥ ω(n³⁴ log(n)¹⁴) の条件下で、ノイズのある入力から埋め込まれたランク1テンソルを回復するための和の平方（SoS）法を提示する。これは、従来のアルゴリズムが要請する τ ≥ Ω(n) よりも優れている。この手法は4次SoS緩和を用いて、高い確率で回復と認証を達成するが、シフトされたパワー反復を用いることでほぼ線形時間のバージョンも提供する。

ABSTRACT

We study a statistical model for the tensor principal component analysis problem introduced by Montanari and Richard: Given a order-$3$ tensor $T$ of the form $T = τ\cdot v_0^{\otimes 3} + A$, where $τ\geq 0$ is a signal-to-noise ratio, $v_0$ is a unit vector, and $A$ is a random noise tensor, the goal is to recover the planted vector $v_0$. For the case that $A$ has iid standard Gaussian entries, we give an efficient algorithm to recover $v_0$ whenever $τ\geq ω(n^{3/4} \log(n)^{1/4})$, and certify that the recovered vector is close to a maximum likelihood estimator, all with high probability over the random choice of $A$. The previous best algorithms with provable guarantees required $τ\geq Ω(n)$. In the regime $τ\leq o(n)$, natural tensor-unfolding-based spectral relaxations for the underlying optimization problem break down (in the sense that their integrality gap is large). To go beyond this barrier, we use convex relaxations based on the sum-of-squares method. Our recovery algorithm proceeds by rounding a degree-$4$ sum-of-squares relaxations of the maximum-likelihood-estimation problem for the statistical model. To complement our algorithmic results, we show that degree-$4$ sum-of-squares relaxations break down for $τ\leq O(n^{3/4}/\log(n)^{1/4})$, which demonstrates that improving our current guarantees (by more than logarithmic factors) would require new techniques or might even be intractable. Finally, we show how to exploit additional problem structure in order to solve our sum-of-squares relaxations, up to some approximation, very efficiently. Our fastest algorithm runs in nearly-linear time using shifted (matrix) power iteration and has similar guarantees as above. The analysis of this algorithm also confirms a variant of a conjecture of Montanari and Richard about singular vectors of tensor unfoldings.

研究の動機と目的

• ノイズのある3次テンソルにおける埋め込まれたランク1テンソルを効率的に回復するアルゴリズムを開発し、従来の信号対雑音比（τ）要件を改善すること。
• 低信号状態における既存のスペクトル法およびテンソル展開法の限界を分析し、その大規模な整数性ギャップのため、それらが失敗することを明らかにすること。
• 統計的テンソルモデルにおける高次モーメント構造を活用することで、和の平方法がこれらの障壁を乗り越えられることを示すこと。
• シフトされたパワー反復を用いてSoS緩和を近似することで、TPCAのほぼ線形時間アルゴリズムを提供すること。
• 4次SoSのほぼ一致する下界を確立し、対数的要因を超える改善には、新たな技術的アプローチが必要であることを示すこと。

提案手法

• 単位球面上の同次3次多項式に対する最尤推定（MLE）問題としてテンソルPCA問題を定式化する。
• MLE問題に4次和の平方（SoS）緩和を適用し、凸な半定値計画問題に変換する。
• 擬似分布とモーメント行列を用いてSoS緩和を表現・解法し、ノイズ下でも強固な回復を可能にする。
• |β| = 1 に対して変数変換 y_β = x^β を行い、テンソル展開を介して4次SoS緩和を行列固有値問題に還元する。
• シフトされた行列パワー反復を用いてSoS解を近似することで、ほぼ線形時間のアルゴリズムを設計し、回復保証を維持する。
• 集中不等式および擬似分布の性質を用いて、回復されたベクトルが高確率でMLEに近いことを認証する。

実験結果

リサーチクエスチョン

• RQ1 和の平方法は、従来のスペクトル法および展開ベースのアルゴリズムよりも、テンソルPCAにおける信号対雑音比の保証を改善できるか？
• RQ2 標準的なテンソル展開法が τ = O(n) 未満で機能しない計算的障壁は何か？
• RQ3 4次和の平方緩和は、強力な回復保証を維持しながら効率的に解けるか？
• RQ4 SoSベースの手法を用いて、テンソルPCAのほぼ線形時間回復が可能か？
• RQ5 この問題における4次SoS法の限界は何か？また、対数的要因を超える改善を排除する下界は存在するか？

主な発見

• 提案されたSoSベースのアルゴリズムは、τ ≥ ω(n³⁴ log(n)¹⁴) の条件下で、埋め込まれたベクトル v₀ に対して 〈v₀, v〉 ≥ 1 − ε を達成し、従来の τ ≥ Ω(n) の要件を改善している。
• アルゴリズムは、回復されたベクトル v が最尤推定器に近いことを認証しており、高確率で T(x) ≤ τ·〈v, x〉³ + O(n³⁴ log(n)¹⁴) が成り立つ。
• シフトされたパワー反復を用いたほぼ線形時間のアルゴリズムが開発され、同じ回復保証を Õ(n³) の実行時間で達成している。
• 4次SoS緩和は τ ≤ O(n³⁴ / log(n)¹⁴) で崩壊することを示しており、現在のSoS技術では、対数的要因を超える改善は不可能であることを示している。
• モンタナリとリチャードの予想の変種を確認し、非対称ノイズ下で τ ≥ ω(n³⁴ log(n)¹⁴) の条件下で、このようなアルゴリズムが成功することを示している。
• 一般の奇数 k に対して、この手法は τ ≥ ω(nᵏ⁴ log(n)¹⁴) の条件下で 〈v₀, v〉 ≥ 1 − ε を達成でき、偶数 k に対しては、ほぼ線形時間で 〈v₀, v〉² ≥ 1 − ε を達成できる。