[論文レビュー] Fast and robust tensor decomposition with applications to dictionary learning

Tselil Schramm, David Steurer|arXiv (Cornell University)|Jun 27, 2017

Tensor decomposition and applications参考文献 1被引用数 11

ひとこと要約

本稿では、従来は緩和された半定値計画法を介してのみ達成可能であった、SOS（和の平方）法と同等のロバスト性保証を達成するが、近線形時間で実行可能な高速でスペクトルに基づくテンソル分解アルゴリズムを提示する。この手法は、定数のスペクトルノルム誤差のもとで正規直交成分を有する4次テンソルを分解でき、入力サイズが $n^4$ の場合に $n^5$ の実行時間となる。また、スパarsityおよび相関のある特徴表現の仮定の下で、実用的な辞書学習を可能にする。

ABSTRACT

We develop fast spectral algorithms for tensor decomposition that match the robustness guarantees of the best known polynomial-time algorithms for this problem based on the sum-of-squares (SOS) semidefinite programming hierarchy. Our algorithms can decompose a 4-tensor with $n$-dimensional orthonormal components in the presence of error with constant spectral norm (when viewed as an $n^2$-by-$n^2$ matrix). The running time is $n^5$ which is close to linear in the input size $n^4$. We also obtain algorithms with similar running time to learn sparsely-used orthogonal dictionaries even when feature representations have constant relative sparsity and non-independent coordinates. The only previous polynomial-time algorithms to solve these problem are based on solving large semidefinite programs. In contrast, our algorithms are easy to implement directly and are based on spectral projections and tensor-mode rearrangements. Or work is inspired by recent of Hopkins, Schramm, Shi, and Steurer (STOC'16) that shows how fast spectral algorithms can achieve the guarantees of SOS for average-case problems. In this work, we introduce general techniques to capture the guarantees of SOS for worst-case problems.

研究の動機と目的

• SOSに基づくテンソル分解の理論的ロバスト性と、半定値計画法による非現実的な実行時間の間にあるギャップを埋める。
• SOS法の誤差耐性と同等の、実用的で高速なテンソル分解アルゴリズムを開発する。特に、正規直交成分を有する4次テンソルに対して有効である。
• 従来の高コストなSOS緩和を必要としていた、スパースに使用される辞書と相関のある非i.i.d.特徴表現の下でのロバストな辞書学習を可能にする。
• 入力テンソルサイズが $n^4$ の場合に、$n^5$ の近線形時間複雑度を達成する。これは、従来の多項式時間のSOSベースのアルゴリズムに比べ顕著な向上である。
• 平均的状況のスペクトルアルゴリズムの先行研究を拡張し、最悪ケース問題に一般化可能なスペクトルフレームワークを提供する。

提案手法

• 4次テンソルの正規直交成分から、繰り返しスペクトル射影とテンソルモード再配置を用いて成分を抽出する。
• 近似値を精緻化し、真の成分とスペクトル的に近いベクトルを回復するための後処理手順を適用する。
• 行列集中不等式とスペクトルノルムの境界を用いて、定数のスペクトルノルム摂動下での誤差伝搬を制御する。
• クリロネッカー積表現を用いて問題を行列形式に変換し、標準的な線形代数ツールを効率的に活用できるようにする。
• ランダム化アルゴリズムを導入し、標本からの4次モーメントテンソルの推定に問題を還元する。行列ベルヌーイ不等式を用いて推定誤差を境界付ける。
• 正規直交性とモーメント仮定を活用して、経験的テンソルの共分散構造を単純化し、より緊密なスペクトルノルム境界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スペクトルアルゴリズムは、最悪ケース設定において、SOS法と同等のロバスト性保証を達成できるか？
• RQ2 正規直交成分を有する4次テンソルに対して、高速で実用的なテンソル分解アルゴリズムが達成可能な最小の誤差耐性（スペクトルノルムで測定）は何か？
• RQ3 スペクトル手法は、スパースに使用される辞書と相関のある非i.i.d.特徴表現を扱えるように拡張可能か？
• RQ4 有界かつ指数的モーメントが仮定される下で、4次モーメントテンソルの推定誤差がスペクトルノルムで $o(1)$ 以内に収まるには、どの程度の標本量が必要か？
• RQ5 スペクトルアルゴリズムは、SOSのロバスト性を再現しつつ、近線形時間複雑度を達成できるように設計可能か？

主な発見

• 提案されたスペクトルアルゴリズムは、誤差テンソルが定数のスペクトルノルム（$d^2 \times d^2$ 行列として）を持つ場合でも、正規直交成分を有する4次テンソルのロバストな分解を達成でき、SOS法で得られる最高の保証と同等である。
• 入力テンソルサイズが $n^4$ の場合に、$n^5$ の実行時間で動作する。これは入力サイズに対してほぼ線形であり、SOSベースの手法に比べ顕著に高速である。
• 相対的スパarsityが定数で、非独立な座標を持つ正規直交辞書をスパースに使用する状況においても、同様の実行時間とロバスト性で回復が可能である。
• 4次モーメントテンソルの推定に必要な標本量は $\widetilde{O}(\max\{\beta n^3, (\kappa n)^2\})$ であり、$\beta$ は8次モーメントの上限、$\kappa$ は特徴ベクトルの要素の上限を表す。
• 所定の標本量のもとで、経験的4次モーメントテンソルの推定誤差のスペクトルノルムは、高確率で $o(1)$ に抑えられる。
• 大規模な半定値計画問題を解く必要がなく、従来のSOSベースの手法と比較して実用的で容易に実装可能な点が特徴である。