[論文レビュー] Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations

Animashree Anandkumar, Prateek Jain+2 more|arXiv (Cornell University)|Oct 15, 2015

Tensor decomposition and applications参考文献 11被引用数 32

ひとこと要約

本稿では、非凸なテンソルロバスト分解アルゴリズム RTD を提案する。この手法は、低ランク CP 分解と残差のハードスレッショーディングを交互に繰り返し、低ランクかつブロックスパースなテンソルを回復する。非一様性と有界摂動条件の下でグローバル収束を証明し、テンソル手法が行列手法よりもはるかに高いブロックスパースな汚染（1ファイバーあたり O(n^{17/12})）に耐えられることを示した。これは、構造的ノイズ環境下での優れたロバスト性と効率性を示している。

ABSTRACT

Robust tensor CP decomposition involves decomposing a tensor into low rank and sparse components. We propose a novel non-convex iterative algorithm with guaranteed recovery. It alternates between low-rank CP decomposition through gradient ascent (a variant of the tensor power method), and hard thresholding of the residual. We prove convergence to the globally optimal solution under natural incoherence conditions on the low rank component, and bounded level of sparse perturbations. We compare our method with natural baselines which apply robust matrix PCA either to the {\em flattened} tensor, or to the matrix slices of the tensor. Our method can provably handle a far greater level of perturbation when the sparse tensor is block-structured. This naturally occurs in many applications such as the activity detection task in videos. Our experiments validate these findings. Thus, we establish that tensor methods can tolerate a higher level of gross corruptions compared to matrix methods.

研究の動機と目的

• グローバルに汚染されたテンソルから低ランクおよびスパース成分を回復できるロバストなテンソル分解手法の開発。
• テンソルに適用された行列ベースのロバスト PCA における限界を克服し、テンソル固有の代数的制約と CP ランク構造を無視する問題を解決する。
• 自然な非一様性および有界摂動条件の下で、提案された非凸アルゴリズムのグローバル収束を証明する。
• 理論的および実験的に、テンソル手法が行列手法よりもはるかに高いレベルのブロック構造スパース摂動に耐えられることを示す。
• ロバストテンソル CP 分解に対して、線形収束レートを達成する高速でスケーラブルなアルゴリズムを提供する。

提案手法

• RTD アルゴリズムは、残差テンソル $T - \hat{S}$ に対して、新たな勾配上昇型テンソルパワー法を用いて低ランク成分を更新する。
• スパース成分は、残差 $T - \hat{L}$ のハードスレッショーディングにより更新され、最大絶対値を持つ要素のみを保持する。
• 正則化された変分的テンソル固有値問題を用いることで、初期値が小さな近傍内にあれば、真の固有ベクトルへの線形収束が保証される。
• この手法はテンソル固有の CP ランク制約を活用し、行列ランク最小化における凸緩和の問題を回避する。
• SVD 初期化を用いることで、真の低ランク成分との良好な初期アライメントを確保し、収束保証を向上させる。
• 理論的分析により、RTD が非一様性および有界ブロックスパース摂動の下で線形収束およびグローバル回復を達成することを確立した。

実験結果

リサーチクエスチョン

• RQ1 非凸反復手法が、非一様性および有界スパース摂動の下で、ロバストテンソル CP 分解に対してグローバル回復を達成できるか。
• RQ2 テンソルデータに適用した場合、テンソルベースのロバスト分解は行列ベースのロバスト PCA よりも優れているか。
• RQ3 テンソル手法は行列手法と比較して、最大どれだけのブロックスパースな汚染に耐えられるか。
• RQ4 提案された RTD アルゴリズムは、行列ベースのベースラインと比較して、より高速な収束および高い精度を達成するか。
• RQ5 ブロック構造スパース性の下で、テンソル手法が処理できる1ファイバーあたりの汚染エントリ数の理論的限界は何か。

主な発見

• RTD アルゴリズムは、低ランクテンソルの自然な非一様性条件と有界スパース摂動の下で、グローバル最適解 $\{L^*, S^*\}$ に保証的に収束する。
• RTD は線形収束レートを達成し、$\epsilon$-近似を得るには $O(\log(1/\epsilon))$ 回の反復が必要である。
• ランク1のテンソルでは、RTD は1ファイバーあたり $O(n^{17/12})$ 個の汚染エントリに耐えられ、行列ロバスト PCA の $O(n)$ の制限を著しく上回る。
• テンソルランク $r$ が高くなるほど、RTD の優位性は増大し、制御されたブロックスパース性の下で、理論的にも優れた性能を示す。
• 実験的結果では、合成データ上で RTD は 2–3 倍の精度と 8–14 倍の高速化を達成した。
• 実世界の Curtain データセットでは、活動検出タスクで RTD はより良い回復性能を示し、10% の高速化を達成した。