[論文レビュー] Sample Complexity Analysis for Learning Overcomplete Latent Variable Models through Tensor Methods

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Aug 3, 2014

Machine Learning and Algorithms参考文献 32被引用数 18

ひとこと要約

この論文は、多視点混合モデル、ICA、ガウス混合、スパースコーディングなどの過超過潜在変数モデルを、テンソル分解手法を用いて学習するための理論的保証を確立する。$ d $ を観測次元、$ p $ をモーメントの順序としたとき、$ k = o(d^{p/2}) $ 個の成分に対して、非一様性条件と経験的モーメントの鋭い集中不等式を満たす限り、テンソルパワー更新を用いた効率的かつ標本効率的な回復が可能であり、過超過状態でも成立する。

ABSTRACT

We provide guarantees for learning latent variable models emphasizing on the overcomplete regime, where the dimensionality of the latent space can exceed the observed dimensionality. In particular, we consider multiview mixtures, spherical Gaussian mixtures, ICA, and sparse coding models. We provide tight concentration bounds for empirical moments through novel covering arguments. We analyze parameter recovery through a simple tensor power update algorithm. In the semi-supervised setting, we exploit the label or prior information to get a rough estimate of the model parameters, and then refine it using the tensor method on unlabeled samples. We establish that learning is possible when the number of components scales as $k=o(d^{p/2})$, where $d$ is the observed dimension, and $p$ is the order of the observed moment employed in the tensor method. Our concentration bound analysis also leads to minimax sample complexity for semi-supervised learning of spherical Gaussian mixtures. In the unsupervised setting, we use a simple initialization algorithm based on SVD of the tensor slices, and provide guarantees under the stricter condition that $k\le βd$ (where constant $β$ can be larger than $1$), where the tensor method recovers the components under a polynomial running time (and exponential in $β$). Our analysis establishes that a wide range of overcomplete latent variable models can be learned efficiently with low computational and sample complexity through tensor decomposition methods.

研究の動機と目的

• 実際の応用で広く使われているが、形式的な保証に欠ける過超過潜在変数モデルの学習における理論的ギャップを埋めること。
• 潜在次元が観測次元を上回る過超過状態における、テンソルベースの学習の標本複雑性の境界を確立すること。
• 新しい被覆論法を用いて、経験的モーメントテンソルの厳密な集中不等式を導出すること。
• 保証付きの回復を有するテンソル分解を用いた、半教師ありおよび教師なし学習フレームワークの構築。
• 非一様性条件が学習を適切に定式化し、テンソル法による効率的回復を可能にすること。

提案手法

• ラベルなしのサンプルから推定された高次モーメントテンソルを用いて、パラメータの回復をテンソル分解で行う。
• 成分推定値の反復的改善に、テンソルパワー更新アルゴリズムを用いる。テンソルの構造に応じて、対称的または非対称的な更新を採用する。
• 新しい被覆論法を導入し、経験的モーメントテンソルの鋭い集中不等式を導出することで、標本のフラクチュエーションに強く耐性を持つ。
• 半教師あり設定では、ラベル付きデータを用いて初期値を粗く得た後、ラベルなしデータをテンソル法で精緻化する。
• 教師なし設定では、テンソル断片のSVDを初期化に用いるが、収束のためにはより厳しい過超過の境界が必要となる。
• 過超過状態における同定可能性を保証し、冗長性を回避するために、成分に非一様性条件を課す。

実験結果

リサーチクエスチョン

• RQ1 成分数が観測次元を上回る過超過状態において、テンソル分解法が潜在変数モデルを保証的に学習できるか？
• RQ2 球面ガウス混合モデルやその他の過超過モデルをテンソル法で学習する際の、可能な限りタイトな標本複雑性は何か？
• RQ3 半教師あり設定において、ラベル情報はどのように効果的に活用され、過超過モデルにおける標本効率性と収束性が向上するか？
• RQ4 成分の非一様性にどのような条件を課すと、テンソル分解が過超過状態でも真のモデルパラメータを回復可能になるか？
• RQ5 教師なしテンソルベースの学習において、過超過度（成分数）と標本複雑性のトレードオフは何か？

主な発見

• 本論文は、成分数 $ k $ が $ k = o(d^{p/2}) $ を満たす場合に学習が可能であることを確立している。ここで $ d $ は観測次元、$ p $ はモーメントの順序である。
• 新しい被覆論法を用いて、経験的テンソルの鋭い集中不等式が導出され、標本複雑性の保証が可能になった。
• 半教師あり設定では、球面ガウス混合モデルに対して最小最大の標本複雑性が達成され、理論的下界と一致する。
• 教師なし学習では、より厳しい条件 $ k \neq O(d) $ の下で、多項式時間内に成分が回復可能である。$ k \neq \beta d $ の場合、実行時間は $ \beta $ に対して指数関数的に増加する。
• 成分に対する非一様性条件は、同定可能性を保証し、極めて過超過状態であっても効率的な回復を可能にする。
• 解析により、ICA、スパースコーディング、多視点混合モデルを含む広範な過超過モデルが、低計算量および低標本複雑性でテンソル法により学習可能であることが確認された。