[論文レビュー] Guaranteed Simultaneous Asymmetric Tensor Decomposition via Orthogonalized Alternating Least Squares

Furong Huang, Jialin Li+1 more|arXiv (Cornell University)|May 25, 2018

Tensor decomposition and applications参考文献 26被引用数 5

ひとこと要約

本稿では、直交化逐次最小二乗法を用いて非対称テンソルの上位 $ r $ 成分を保証付きで同時に回復するための新規アルゴリズムであるスライシング初期化逐次部分空間反復法（s-ASI）を提案する。ノイズなし条件下では、$ O(\log \log \frac{1}{\epsilon}) $ ステップでほぼ確実に上位 $ r $ 成分に収束し、ノイズが $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $ 以下であればロバストである。これは、同時に直交化可能な非対称テンソル分解に対する最初の理論的保証を提供する。

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition is an important tool that solves a wide class of machine learning problems. Existing popular approaches recover components one by one, not necessarily in the order of larger components first. Recently developed simultaneous power method obtains only a high probability recovery of top $r$ components even when the observed tensor is noiseless. We propose a Slicing Initialized Alternating Subspace Iteration (s-ASI) method that is guaranteed to recover top $r$ components ($ε$-close) simultaneously for (a)symmetric tensors almost surely under the noiseless case (with high probability for a bounded noise) using $O(\log(\log \frac{1}ε))$ steps of tensor subspace iterations. Our s-ASI method introduces a Slice-Based Initialization that runs $O(1/\log(\frac{λ_r}{λ_{r+1}}))$ steps of matrix subspace iterations, where $λ_r$ denotes the r-th top singular value of the tensor. We are the first to provide a theoretical guarantee on simultaneous orthogonal asymmetric tensor decomposition. Under the noiseless case, we are the first to provide an \emph{almost sure} theoretical guarantee on simultaneous orthogonal tensor decomposition. When tensor is noisy, our algorithm for asymmetric tensor is robust to noise smaller than $\min\{O(\frac{(λ_r - λ_{r+1})ε}{\sqrt{r}}), O(δ_0\frac{λ_r -λ_{r+1}}{\sqrt{d}})\}$, where $δ_0$ is a small constant proportional to the probability of bad initializations in the noisy setting.

研究の動機と目的

• オンラインまたはリアルタイム学習環境において、上位 $ r $ 成分の保証付き同時回復が不足している問題に対処すること。
• 先行研究における逐次的デフラクション法や高確率的保証の限界を克服し、ノイズなし条件下でほぼ確実な収束を可能にする。
• 有界ノイズ下でも理論的保証を維持できる、非対称テンソル分解のためのロバストなアルゴリズムを開発すること。
• 事前に $ R $ を知らなくても、上位 $ r $ 成分への安定的かつ保証付き収束を実現する、新しいスライスベース初期化を提案すること。

提案手法

• テンソル部分空間反復と直交化逐次最小二乗法（o-ALS）を組み合わせた、スライシング初期化付き逐次部分空間反復法（s-ASI）を提案する。
• 上位 $ r $ 成分の初期化に、$ O(1 / \log(\lambda_r / \lambda_{r+1})) $ ステップの行列部分空間反復を実行するスライスベース初期化を導入する。
• 直交化逐次最小二乗法（o-ALS）を用いて、直交性を維持しながら成分推定値を反復的に改善する。
• 主角度と特異値ギャップに基づく収束解析により、反復間での部分空間誤差を上限付ける。
• ノイズテンソルの作用素ノルムとスペクトルギャップ $ \mathsf{gap}_r = \lambda_r - \lambda_{r+1} $ を分析することで、ノイズロバスト性の理論的境界を導出する。
• ノイズなしの場合にほぼ確実な収束を確立し、有界ノイズ下では高確率収束を示し、明示的なノイズ閾値を提示する。

実験結果

リサーチクエスチョン

• RQ1 非対称テンソルにおける上位 $ r $ 成分の保証付き同時回復（逐次的または高確率的回復ではなく）は可能か？
• RQ2 直交非対称テンソル分解に対して、ほぼ確実な収束を達成できるテンソル分解アルゴリズムを設計可能か？
• RQ3 事前に $ R $ を知らなくても、安定的かつ保証付き収束を実現する最適な初期化戦略は何か？
• RQ4 提案手法はノイズに対してどれほどロバストか？収束が保証される最大のノイズレベルは何か？

主な発見

• s-ASI アルゴリズムは、ノイズなし条件下で $ O(\log \log \frac{1}{\epsilon}) $ 迴数で上位 $ r $ 成分にほぼ確実に収束する。
• ノイズは $ \min\{O(\frac{(\lambda_r - \lambda_{r+1})\epsilon}{\sqrt{r}}), O(\delta_0 \frac{\lambda_r - \lambda_{r+1}}{\sqrt{d}})\} $ までロバストであり、$ \delta_0 $ は初期化の失敗確率に比例する。
• スライスベース初期化により、$ R $ が未知であってもノイズなし条件下で正しい部分空間に確率1で収束する。
• 本手法は、非対称ケースにおける同時に直交化可能なテンソル分解に対する最初の理論的保証を提供し、先行研究における重要なギャップを解消する。
• 収束速度はテンソルのランクや次元に依存しないため、高次元問題に対してもスケーラブルかつ効率的である。