[論文レビュー] Fast spectral algorithms from sum-of-squares proofs: tensor decomposition and planted sparse vectors

Samuel B. Hopkins, Tselil Schramm+2 more|arXiv (Cornell University)|Dec 8, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用数 6

ひとこと要約

本論文は、2つの機械学習問題であるランダム部分空間内に埋め込まれたスパースベクトルの回復と、過超過3次テンソルの分解に関して、和の平方（SoS）証明にインspiredされた高速スペクトルアルゴリズムを導入する。部分トレース演算とスペクトル法を活用することで、次数 $d$ に対して $n^{O(d)}$ にスケーリングする従来のSoS手法に比べ、ほぼ線形時間でSoSレベルの保証を達成する。主な貢献は、同等またはそれ以上の統計的性能を示しながら、高次SoS緩和の実用的でスケーラブルな代替手法を提供することである。

ABSTRACT

We consider two problems that arise in machine learning applications: the problem of recovering a planted sparse vector in a random linear subspace and the problem of decomposing a random low-rank overcomplete 3-tensor. For both problems, the best known guarantees are based on the sum-of-squares method. We develop new algorithms inspired by analyses of the sum-of-squares method. Our algorithms achieve the same or similar guarantees as sum-of-squares for these problems but the running time is significantly faster. For the planted sparse vector problem, we give an algorithm with running time nearly linear in the input size that approximately recovers a planted sparse vector with up to constant relative sparsity in a random subspace of $\mathbb R^n$ of dimension up to $ ilde Ω(\sqrt n)$. These recovery guarantees match the best known ones of Barak, Kelner, and Steurer (STOC 2014) up to logarithmic factors. For tensor decomposition, we give an algorithm with running time close to linear in the input size (with exponent $\approx 1.086$) that approximately recovers a component of a random 3-tensor over $\mathbb R^n$ of rank up to $ ilde Ω(n^{4/3})$. The best previous algorithm for this problem due to Ge and Ma (RANDOM 2015) works up to rank $ ilde Ω(n^{3/2})$ but requires quasipolynomial time.

研究の動機と目的

• ランダム線形部分空間内に埋め込まれたスパースベクトルを回復するための、より高速なアルゴリズムを開発すること。その保証は、和の平方（SoS）手法による最良の結果と同等またはそれを上回ることを目的とする。
• 過超過3次テンソル分解のための効率的なスペクトルアルゴリズムを設計すること。SoSレベルの性能を達成しつつ、ほぼ線形時間で実行されることを目的とする。
• 半正定値計画法の $n^{O(d)}$ の計算時間という高価なコストを回避しつつ、スペクトル法によって高次SoSの情報を効果的に抽出できるかを検証すること。
• 大規模機械学習問題に対して、SoSに基づくアルゴリズムの実用的でスケーラブルな代替手法を提供すること。

提案手法

• 埋め込まれたスパースベクトル問題のためのアルゴリズムは、入力部分空間から導かれる変換された基底上でスペクトル法を用い、測度の集中を活用して回復を保証する。
• テンソル分解のための手法は、テンソルの最初のモードスライスの部分トレースを計算して行列を構築し、その最大固有ベクトルが真の成分を近似する。
• コアとなる技術は、ノイズ項のスペクトルノルムを行列集中不等式を用いて分析し、低ランク仮定の下で信号が優勢であることを保証することである。
• テンソルPCAのためのアルゴリズムは、部分トレース行列を用いた線形時間の行列累乗法を用いる。この部分トレース行列は、トレース重み付きテンソルスライスの和として構築される。
• 主なイノベーションは、部分トレース演算を用いて信号情報を効率的に抽出することで、完全なテンソル操作を回避することである。
• ランタイム最適化は、テンソルエントリをストリーミング形式で処理し、同時に $O(n^2)$ の中間値のみを保持することで達成される。

実験結果

リサーチクエスチョン

• RQ1 スペクトル法アルゴリズムは、埋め込まれたスパースベクトル回復において、ほぼ線形時間で和の平方（SoS）手法と同等の統計的保証を達成できるか？
• RQ2 過超過3次テンソル分解のための高速スペクトルアルゴリズムは、SoSベースの手法と同等またはそれ以上のランクおよび信号対雑音比の閾値を達成できるか？
• RQ3 高価な半正定値計画法を解かずに、スペクトル法によって高次SoSの情報を抽出できるか？
• RQ4 スパイクドテンソルPCAモデルにおいて、回復に必要な最小信号強度は何か？ そして、その信号強度は、サブクアドラティックまたは線形時間のアルゴリズムで達成可能か？

主な発見

• 埋め込まれたスパースベクトルアルゴリズムは、次元が $\tilde{\Omega}(\sqrt{n})$ までのランダム部分空間において、定数相対スパースなベクトルをほぼ線形時間で回復する。
• テンソル分解アルゴリズムは、ランクが $\tilde{\Omega}(n^{4/3})$ までの3次テンソルの成分を、ほぼ線形時間（指数は約1.086）で回復する。
• テンソルPCAにおいて、$\tau = \Omega(n^{3/4} \sqrt{\log n / \varepsilon})$ のとき、$\langle v, v' \rangle \geq 1 - O(\varepsilon)$ を達成し、SoSの保証と一致する。
• 部分トレース行列のスペクトルギャップ比は $\Omega(1/\varepsilon)$ であり、行列累乗法の収束が $O(\log(n/\varepsilon))$ 回の反復で達成可能である。
• アルゴリズムは線形時間かつサブ線形空間で動作し、テンソルを1回のスキャンで処理し、$O(n^2)$ のメモリのみを必要とする。
• 部分トレースアプローチにより、解析を簡素化するとともに、ランタイムを $\log n$ 要因分短縮することで、先行研究を改善している。