[論文レビュー] Provable Learning of Overcomplete Latent Variable Models: Semi-supervised and Unsupervised Settings.

Animashree Anandkumar, Rong Ge+1 more|arXiv (Cornell University)|Aug 3, 2014

Machine Learning and Algorithms参考文献 19被引用数 4

ひとこと要約

本稿では、球面ガウス分布およびマルチビュー混合モデルという過剰な潜在変数モデルに対して、テンソルに基づくモーメント法を用いて、証明可能な学習保証を提示する。半教師ありおよび教師なしの両設定において学習境界を確立し、k = o(d)（半教師あり）およびk ≤ Cd（教師なし）の下で、テンソル分解と新規な被覆議論を用いて、サンプルの複雑さの保証を得る。

ABSTRACT

We provide guarantees for learning latent variable models emphasizing on the overcomplete regime, where the dimensionality of the latent space can exceed the observed dimensionality. In particular, we consider spherical Gaussian mixtures and multiview mixtures models. Our algorithm is based on method of moments, and employs a tensor decomposition method for learning. In the semi-supervised setting, we exploit the label or prior information to get a rough estimate of the model parameters, and then refine it using the tensor method on unlabeled samples. We establish learning guarantees when the number of components scales as k = o(d), where d is the observed dimension, and p is the order of the observed moment employed in the tensor method. In the unsupervised setting, a simple initialization algorithm based on SVD of the tensor slices is proposed, and the guarantees are provided under the stricter condition that k ≤ Cd (where constant C can be larger than 1). We also provide tight sample complexity bounds through novel covering arguments.

研究の動機と目的

• 観測次元dより成分数kが大きい過剰な状態（k > d）における潜在変数モデルの理論的保証を提供すること。
• k > dの状態、つまり従来の手法が困難である高次元の潜在空間における学習の課題に対処すること。
• テンソル分解とモーメントベース推定を用いて、半教師ありおよび教師なし両設定におけるサンプル複雑さの境界を確立すること。
• テンソルスライスのSVDを用いた、教師なし設定における頑健な初期化戦略の開発。

提案手法

• 高次モーメント（最大p次まで）を用いたモーメント法を採用し、テンソル分解によりモデルパラメータを推定する。
• 半教師あり設定では、ラベル情報を利用して初期パラメータ推定を行い、その後、未ラベルデータに対するテンソル法で改善する。
• 教師なし設定では、テンソルスライスに対する単純なSVDベースの初期化を提案し、学習プロセスの起動を図る。
• 両設定におけるタイトなサンプル複雑さの境界を導出するために、新規な被覆議論を適用する。
• テンソル分解を用いて、球面ガウス分布およびマルチビュー混合モデルにおける潜在成分を同定する。
• kとdの変動に伴う学習誤差と収束性を分析し、モーメント次数pに明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 k = o(d) の場合に、過剰な潜在変数モデルに対して証明可能な学習保証を達成できるか？
• RQ2 半教師あり設定において、ラベル情報はテンソルによる精錬の前段階で初期パラメータ推定をどのように改善できるか？
• RQ3 教師なし設定において、過剰モデルを学習するために必要な最小のサンプル複雑さは何か？
• RQ4 モーメント次数pの選択が、学習保証とサンプル複雑さにどのように影響するか？
• RQ5 教師なし設定における単純なSVDベースの初期化は、証明可能な収束をもたらすか？

主な発見

• 本稿では、k = o(d) の条件下で半教師あり設定において学習保証を確立し、このスケーリング下で高確率でモデルが学習可能であることを示した。
• 教師なし設定では、k ≤ Cd（Cは1を超える可能性がある定数）の条件下で証明可能な学習が達成され、従来の知見よりも広い範囲の設定がカバー可能であることを示した。
• 教師なし設定における提案されたSVDベースの初期化は、有効であり、テンソル分解フレームワーク内での安定収束をもたらすことが示された。
• 新規な被覆議論を用いてタイトなサンプル複雑さの境界が導出され、信頼性のある推定に必要なサンプル数が定量的に評価された。
• テンソル分解を用いたモーメント法により、潜在次元が観測次元を上回る場合でも一貫したパラメータ推定が可能である。
• 理論的結果は形式的解析により検証され、サンプルサイズの増加および適切なモーメント次数pの下で、パラメータ推定誤差が減少することが示された。