[論文レビュー] Analyzing Tensor Power Method Dynamics in Overcomplete Regime

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Nov 6, 2014

Tensor decomposition and applications参考文献 25被引用数 27

ひとこと要約

この論文は、テンソルランクkが次元dを超過する過超過状態（overcomplete regime）におけるテンソルパワー反復のダイナミクスを分析する。初期化が弱く、成分が確率的であるという条件下で、パワー反復がO(log log d)ステップで真の成分へ2次収束することを証明し、CP分解や潜在変数モデルの教師なし学習をk=o(d^1.5)まで効率的に行えることを示す。

ABSTRACT

We present a novel analysis of the dynamics of tensor power iterations in the overcomplete regime where the tensor CP rank is larger than the input dimension. Finding the CP decomposition of an overcomplete tensor is NP-hard in general. We consider the case where the tensor components are randomly drawn, and show that the simple power iteration recovers the components with bounded error under mild initialization conditions. We apply our analysis to unsupervised learning of latent variable models, such as multi-view mixture models and spherical Gaussian mixtures. Given the third order moment tensor, we learn the parameters using tensor power iterations. We prove it can correctly learn the model parameters when the number of hidden components $k$ is much larger than the data dimension $d$, up to $k = o(d^{1.5})$. We initialize the power iterations with data samples and prove its success under mild conditions on the signal-to-noise ratio of the samples. Our analysis significantly expands the class of latent variable models where spectral methods are applicable. Our analysis also deals with noise in the input tensor leading to sample complexity result in the application to learning latent variable models.

研究の動機と目的

• テンソルランクkが入力次元dを超過する過超過状態におけるテンソルパワー反復の収束ダイナミクスを分析すること。
• 過超過テンソル分解がNP困難であるにもかかわらず、単純なパワー反復法が信頼性を持ってテンソル成分を回復できる条件を確立すること。
• スペクトル法の適用範囲を、多視点混合モデルや球面ガウス混合モデルなどの過超過潜在変数モデルへ拡張すること。
• 入力テンソルのノイズの影響を分析することで、標本複雑度の保証を提供すること。
• ランダム初期化およびややいな信号対ノイズ比条件下での真の成分の吸引域を同定すること。

提案手法

• 3次テンソルパワー反復x ← T(I, x, x) / ||T(I, x, x)||を分析し、無限大ステップサイズの勾配降下ステップとして解釈する。
• テンソル成分a_jが単位球面上で独立同分布に従い、重みλ_jの比が有界であると仮定する。
• ℓ₂ノルムおよび||·||_B*ノルムにおける単位ノルムベクトルのεネットを用いて、多次線形形式T'(u,v,w) = ∑_{j>1} η_j ⟨u,a_j⟩⟨v,a_j⟩⟨w,a_j⟩をバウンドする。
• ベルンシュタインの不等式を用いて、小さな内積項の和（S_L^c）をバウンドし、高確率でÕ(√(k/d))のバウンドを達成する。
• ランダムなガウス行列の制限等長性性質（RIP）を用いて、大きな内積項の和（S_L）をバウンドし、高確率で||B_L|| ≤ 2であることを示す。
• S_LおよびS_L^cのバウンドを組み合わせることで、高確率で||T'(u,v,I)||₂ ≤ Õ(√(k/d))を示し、収束解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 k > d であり、直交化が不可能な過超過状態において、テンソルパワー反復は真の成分へ収束可能か？
• RQ2 ランダム初期化下での真の成分の吸引域のサイズはどの程度か？
• RQ3 過超過状態におけるテンソルパワー反復の収束速度は、行列の場合と比べてどの程度か？
• RQ4 ノイズが存在する状況で、成分の成功回復を保証する信号対ノイズ比の条件は何か？
• RQ5 データ次元dが与えられたとき、テンソルパワー反復が有効に機能する最大の過超過ランクkは何か？

主な発見

• ややいな初期化のもとで、テンソルパワー反復はO(log log d)反復で真の成分へ2次収束する。過超過状態においても有効である。
• 成分数kがk = o(d^{1.5})を満たす限り、この手法は成分を成功裏に回復でき、適用可能な潜在変数モデルの範囲を顕著に拡大する。
• 高確率で、ℓ₂ノルムおよび||·||_B*ノルムにおける単位ベクトルに対して、残差テンソルT'(u,v,I)のノルムがÕ(√(k/d))以下に抑えられる。
• 入力テンソルのノイズを考慮した解析により、実用的学習応用におけるロバスト性を保証する標本複雑度の結果を確立する。
• ややいな信号対ノイズ比条件下では、各真の成分a_jの吸引域には、||·||_B*ノルムが有界なすべての初期化ベクトルが含まれる。
• この手法は、多視点混合モデルおよび球面ガウス混合モデルの教師なし学習に適用可能であり、3次モーメントテンソルから効率的なパrameter回復を可能にする。