[論文レビュー] Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity

Santosh Vempala, Ying Xiao|arXiv (Cornell University)|Dec 9, 2014

Blind Source Separation Techniques参考文献 21被引用数 7

ひとこと要約

本稿では、テンソル分解およびICAにおける標本複雑性を次元nに対してほぼ線形にまで低減する再帰的固有値分解手法を提案する。反復的部分空間射影とフーリエPCAを用いて大きな固有値ギャップを活用することで、四次の累積量の仮定の下でICAに対してO~(n)の標本複雑性を達成し、従来の多項式境界と比べ顕著に改善される。

ABSTRACT

We present a simple, general technique for reducing the sample complexity of matrix and tensor decomposition algorithms applied to distributions. We use the technique to give a polynomial-time algorithm for standard ICA with sample complexity nearly linear in the dimension, thereby improving substantially on previous bounds. The analysis is based on properties of random polynomials, namely the spacings of an ensemble of polynomials. Our technique also applies to other applications of tensor decompositions, including spherical Gaussian mixture models.

研究の動機と目的

• 高次元設定におけるテンソル分解およびICAアルゴリズムの高い標本複雑性に対処すること。
• 独立成分分析（ICA）に対してほぼ線形の標本複雑性を達成する手法を開発すること。
• Ω(n⁵)以上の標本を必要とする従来の多項式時間ICAアルゴリズムを改善すること。
• ICAにとどまらず、球面ガウス混合およびノイズありモデルを含む、テンソル分解問題への技法の拡張。
• 現実的な分布的仮定の下で標本複雑性および誤差バウンドに関する理論的保証を提供すること。

提案手法

• 特徴関数のヘッシアンにおける最大固有値ギャップに基づく再帰的部分空間射影を用いる。
• フーリエPCAを用いて、ランダムな単位ベクトルuに対するexp(iuᵀx)を含む2次モーメントを推定する。
• スペクトルノルムの集中を用いて、各インスタンスでO(n)の標本数で推定誤差をバウンドする。
• ユニオンバウンドを用いて、複数の再帰的レベルにわたって同一の標本集合を再利用し、高確率での成功を保証する。
• ランダムなuにおける固有値ギャップの最大化により、再帰に適した安定した部分空間を選択する。
• 再帰的レベル間での誤差伝搬を再帰関係を用いて分析し、累積誤差をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解およびICAは、次元nに対してほぼ線形の標本複雑性で解けるか？
• RQ2 特徴関数のヘッシアンにおける大きな固有値ギャップは、どのようにして標本複雑性の低減に利用できるか？
• RQ3 ヘッシアンの特徴関数を高い精度で推定するために必要な最小の標本数は何か？
• RQ4 再帰的固有値分解フレームワークは、ノイズありまたは不定なICAモデルへ拡張可能か？
• RQ5 再帰的分解レベル間で誤差はどのように蓄積され、高確率でバウンド可能か？

主な発見

• 四次の累積量の仮定の下で、ICAに対してO~(n)の標本複雑性を達成し、従来のΩ(n⁵)の境界を大幅に改善する。
• 誤差ϵに対して、標本複雑性はO(n · K²M⁴ log⁷n / Δ⁶ϵ²)にまで低減され、ここでΔは最小固有値ギャップである。
• 再帰的分解により誤差伝搬がバウンドされ、再帰的精錬の後、最終誤差≤ϵが保証される。
• 本手法は、球面ガウス混合およびガウスノイズを含むモデルにおけるテンソル分解へも適用可能である。
• 解析により、ガウス分布上での3次多項式でさえ、最大ギャップがO(1/n⁰.⁶)にまで制限されることを示し、低次のケースからの仮定に挑戦する。
• 滑らかな次元スケーリングを実現する実用的ICAが可能となり、MATLABによる実装で検証された。