[論文レビュー] Dictionary Learning and Tensor Decomposition via the Sum-of-Squares Method

Boaz Barak, Jonathan A. Kelner+1 more|arXiv (Cornell University)|Jul 6, 2014

Sparse and Compressive Sensing Techniques参考文献 2被引用数 5

ひとこと要約

本稿では、過剰な辞書の近似回復を、係数ベクトルが密度的（定数スパarsityまで）である場合でも達成できる、新しい和の平方（SOS）法を導入する。これは、従来のアルゴリズム的障壁を克服したものである。この手法はSOSに基づく多項式最適化を活用し、スペクトルノルムノイズ下でのノイズのあるテンソル分解を実行する。スパarsityが多項式的でない場合、多項式時間で回復可能であり、定数スパarsityの場合は $ m^{O(\log m)} $ 時間で実現可能である。

ABSTRACT

We give a new approach to the dictionary learning (also known as "sparse coding") problem of recovering an unknown $n imes m$ matrix $A$ (for $m \geq n$) from examples of the form \[ y = Ax + e, \] where $x$ is a random vector in $\mathbb R^m$ with at most $τm$ nonzero coordinates, and $e$ is a random noise vector in $\mathbb R^n$ with bounded magnitude. For the case $m=O(n)$, our algorithm recovers every column of $A$ within arbitrarily good constant accuracy in time $m^{O(\log m/\log(τ^{-1}))}$, in particular achieving polynomial time if $τ= m^{-δ}$ for any $δ>0$, and time $m^{O(\log m)}$ if $τ$ is (a sufficiently small) constant. Prior algorithms with comparable assumptions on the distribution required the vector $x$ to be much sparser---at most $\sqrt{n}$ nonzero coordinates---and there were intrinsic barriers preventing these algorithms from applying for denser $x$. We achieve this by designing an algorithm for noisy tensor decomposition that can recover, under quite general conditions, an approximate rank-one decomposition of a tensor $T$, given access to a tensor $T'$ that is $τ$-close to $T$ in the spectral norm (when considered as a matrix). To our knowledge, this is the first algorithm for tensor decomposition that works in the constant spectral-norm noise regime, where there is no guarantee that the local optima of $T$ and $T'$ have similar structures. Our algorithm is based on a novel approach to using and analyzing the Sum of Squares semidefinite programming hierarchy (Parrilo 2000, Lasserre 2001), and it can be viewed as an indication of the utility of this very general and powerful tool for unsupervised learning problems.

研究の動機と目的

• 過剰な辞書学習において、係数ベクトルが密度的である状況（従来のアルゴリズムが極めてスパースなベクトルを要件としていた例：$ O(\sqrt{n}) $ 個の非ゼロ要素）を扱う課題に取り組むこと。
• 局所最適解が元のテンソルと摂動されたテンソルで著しく異なる場合でも、定数スペクトルノルムノイズ下で動作するロバストなテンソル分解アルゴリズムを開発すること。
• 無作為化学習問題における和の平方（SOS）階層の有用性を示し、この文脈においてSOSの実行時間に関する最初の厳密な境界を提供すること。
• 辞書行列に対する非一貫性仮定を必要としない状況でも、高い精度で辞書の列を近似的に回復できることを実現すること。

提案手法

• 本手法は、辞書学習およびテンソル分解に生じる非凸多項式最適化問題を解くために、和の平方（SOS）半定値プログラミング階層を用いる。
• 辞書学習問題を、$ \tau $-近いスペクトルノルムを持つ摂動されたバージョンから低ランクテンソル構造を回復することを目的とするノイズのあるテンソル分解問題として定式化する。
• 主な要素として、解空間を表現・推論するために多項式上の擬似分布を用いる。これにより、ノイズと密度的入力を扱えるようになる。
• 制約条件 $ \|u\|_2^2 = 1 $ および $ P(u) \geq 1 - \varepsilon $ を満たす次数 $ k $ の擬似分布を用い、ここで $ P $ は $ \|A^T u\|_d^d $ を近似する。
• 係数分布の良好な性質を活用し、再重み付け技術を適用することで、真の分布下でもSOSアルゴリズムの成功確率を高く保つ。
• スペクトルノルムの境界と集中不等式を組み合わせることで、ノイズ下でも真の辞書構造を擬似分布が捉えるように保証する。

実験結果

リサーチクエスチョン

• RQ1 従来のアルゴリズムが $ O(\sqrt{n}) $ スパarsityに制限されていた範囲を超えて、SOS法を用いて密度的係数ベクトルを有する辞書学習問題を解くことは可能か？
• RQ2 元のテンソルと摂動されたテンソルの局所最適解が著しく異なる場合でも、スペクトルノルムノイズ下でテンソル分解をロバストに行うことは可能か？
• RQ3 無作為化学習問題に対してSOS階層を厳密に解析でき、正しさと実行時間の保証の両方を提供できるか？
• RQ4 SOSに基づくアプローチにより、辞書行列に対する非一貫性仮定を必要とせずに、辞書の列を回復できるか？

主な発見

• アルゴリズムは、任意の良好な定数精度で、$ m^{O(\log m / \log(\tau^{-1}))} $ 時間で辞書 $ A $ の各列を回復可能であり、$ \tau = m^{-\delta} $（任意の $ \delta > 0 $）のとき多項式時間にまで短縮される。
• 定数 $ \tau $ の場合、実行時間は $ m^{O(\log m)} $ となり、指数的でない（指数的でない）かつ、密度的ベクトルに対する従来手法より著しく高速である。
• 係数ベクトルのスパarsityが $ \tau m $ で $ \tau = m^{-\delta} $ の場合、多項式時間での回復が達成され、従来の $ O(\sqrt{n}) $ スパarsity制限を超える適用範囲が拡張される。
• 元のテンソルと摂動されたテンソル間に構造的類似性がないと仮定しても、スペクトルノルムノイズ下でのノイズのあるテンソル分解に対して、初めての保証が得られる。
• SOSに基づくアプローチは、辞書行列に対する非一貫性仮定を必要とせず、過剰な辞書学習問題を効果的に処理できる。
• フレームワークにより、高確率で、$ n^{O(d)} / \text{poly}(\tau) $ 個のサンプルで、所望の精度 $ \varepsilon $ に対して、対称化されたハウスドルフ距離における近似的な回復が可能となる。