[論文レビュー] Guaranteed Non-Orthogonal Tensor Decomposition via Alternating Rank-$1$ Updates

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Feb 21, 2014

Tensor decomposition and applications参考文献 49被引用数 96

ひとこと要約

本稿では、交互なランク1更新を用いた保証付き非直交テンソル分解アルゴリズムを提案し、非一様性およびランク条件の下で3次テンソルに対して局所的・大域的収束を達成する。$k = o(d^{1.5})$ の場合に線形収束を示し、$k \leq \beta d$ の下で大域的収束を保証する。ノイズ付きテンソルに対してはきめ細かな摂動バウンドを提供し、ホワイトニングを要せずに過剰な表現を可能にする。

ABSTRACT

In this paper, we provide local and global convergence guarantees for recovering CP (Candecomp/Parafac) tensor decomposition. The main step of the proposed algorithm is a simple alternating rank-$1$ update which is the alternating version of the tensor power iteration adapted for asymmetric tensors. Local convergence guarantees are established for third order tensors of rank $k$ in $d$ dimensions, when $k=o \bigl( d^{1.5} \bigr)$ and the tensor components are incoherent. Thus, we can recover overcomplete tensor decomposition. We also strengthen the results to global convergence guarantees under stricter rank condition $k \le βd$ (for arbitrary constant $β> 1$) through a simple initialization procedure where the algorithm is initialized by top singular vectors of random tensor slices. Furthermore, the approximate local convergence guarantees for $p$-th order tensors are also provided under rank condition $k=o \bigl( d^{p/2} \bigr)$. The guarantees also include tight perturbation analysis given noisy tensor.

研究の動機と目的

• ホワイトニングを要しない非直交CPテンソル分解の収束保証を提供すること。ホワイトニングは計算的に高価であり、数値的に不安定である。
• 次元$d$を超過する成分数$k$を有する過剰なテンソル分解の回復を可能にすること。直交性制約を緩和することで実現する。
• 上位特異ベクトルを用いた簡単な初期化により、強い仮定に依存せずに大域的収束を確立すること。
• ノイズ付きテンソルに対するきめ細かな摂動解析を確立し、実用的応用における耐障害性を保証すること。
• 潜在変数モデルで一般的に見られる非一様テンソル成分が、ランク1更新を用いた効率的かつ安定した分解を可能にすること。

提案手法

• アルゴリズムは、各テンソルモードに沿って交互にランク1更新を実行し、他のモードの現在の推定値を用いて、現在の推定値をそのモード上に射影する。
• 各更新ステップは、非対称かつ非直交テンソルに適応した変種のテンソルパワー反復に基づく。
• ホワイトニングを避けるために、テンソル成分の非一様性に依存し、これをソフトな直交性制約として機能させる。
• ランダムなテンソルスライスからの上位特異ベクトルを用いた、新規な初期化手順により、$k \leq \beta d$ の下で大域的収束を達成する。
• 理論的解析は非一様性仮定と3ノルム集中を用い、近似誤差と収束速度のバウンドを導出する。
• 摂動解析はテンソルノルム不等式とノイズ下での安定性バウンドを用い、誤差が$p$次テンソルに対して$O(\epsilon^{3-p})$のスケーリングを示す。

実験結果

リサーチクエスチョン

• RQ1 非一様性およびサブキュービックランクスケーリングの下で、交互なランク1更新が非直交テンソル分解に対して局所的収束を達成できるか？
• RQ2 ランダムなテンソルスライスの特異ベクトルによる単純な初期化が、$k \leq \beta d$ のランク$k$テンソルに対して大域的収束を可能にするか？
• RQ3 ホワイトニングや直交性制約なしに、$k = o(d^{1.5})$ の過剰なテンソル分解を回復できるか？
• RQ4 ノイズ付きテンソル入力下でのアルゴリズムの性能は？摂動バウンドのきめ細かさは？
• RQ5 非一様性、近似誤差、収束速度の間の関係は何か？

主な発見

• 非一様性の下で3次テンソルに対して、$k = o(d^{1.5})$ の場合に局所的線形収束が達成され、成分回復の誤差が$\tilde{O}(\sqrt{k}/d)$に依存する。
• より厳しいランク条件$k \leq \beta d$（任意の定数$\beta > 1$）の下で、上位特異ベクトル初期化により大域的収束が保証される。
• アルゴリズムは真の成分から$\tilde{O}(w_{\max}\sqrt{k}/(w_{\min}d))$の距離内に成分を回復する。誤差は非一様性に従って制御される。
• ノイズ付きテンソルに対しては、摂動誤差が$O(\epsilon^{3-p})$にスケーリングされ、3ノルム集中を用いてきめ細かなバウンドが導出される。
• ホワイトニングに基づく手法とは異なり、誤差に敏感な状態を回避し、ノイズに強く、計算効率を維持する。
• 理論的保証は、$k = o(d^{p/2})$ の下で$p$次テンソルへ拡張され、高次元分解へのスケーラビリティを示している。