[論文レビュー] PAC Learning Mixtures of Axis-Aligned Gaussians with No Separation Assumption

Jon Feldman, Ryan O’Donnell+1 more|ArXiv.org|Sep 16, 2006

Machine Learning and Algorithms参考文献 19被引用数 5

ひとこと要約

この論文は、成分間の分離や最小混合重みの仮定を必要とせず、$¹^n$ 内の軸に沿ったガウス分布の混合分布に対して PAC-学習アルゴリズムを提示する。$¹\big(\mathrm{poly}(n/\epsilon)\big)$ 時間で実行され、モーメント法とリジェクションサンプリングを用いて離散的プロダクト分布から連続的ガウス分布への WAM アルゴリズムの拡張を実現し、高確率で $\epsilon$-近似の KL 収束を達成する。

ABSTRACT

We propose and analyze a new vantage point for the learning of mixtures of Gaussians: namely, the PAC-style model of learning probability distributions introduced by Kearns et al. Here the task is to construct a hypothesis mixture of Gaussians that is statistically indistinguishable from the actual mixture generating the data; specifically, the KL-divergence should be at most epsilon. In this scenario, we give a poly(n/epsilon)-time algorithm that learns the class of mixtures of any constant number of axis-aligned Gaussians in n-dimensional Euclidean space. Our algorithm makes no assumptions about the separation between the means of the Gaussians, nor does it have any dependence on the minimum mixing weight. This is in contrast to learning results known in the ``clustering'' model, where such assumptions are unavoidable. Our algorithm relies on the method of moments, and a subalgorithm developed in previous work by the authors (FOCS 2005) for a discrete mixture-learning problem.

研究の動機と目的

• 幾何的・統計的分離の仮定がない状況において、軸に沿ったガウス分布の混合に対する PAC-学習アルゴリズムの開発。
• 従来の学習アルゴリズムがしばしば制限を受ける最小混合重みへの依存を排除すること。
• 離散的プロダクト分布を対象とした WAM アルゴリズムを、連続的・高次元のガウス混合分布へと拡張すること。
• 多項式時間実行と保証された KL 収束バウンドを持つ、証明可能に効率的なアルゴリズムの提供。
• 連続的プロダクト分布の混合を学習する際にモーメント法を適用できる一般条件の確立。

提案手法

• 離散的プロダクト分布から連続的軸に沿ったガウス分布への WAM（重みと平均）アルゴリズムの拡張を、モーメント法を用いて実行。
• 有界なサポートを持つ真の混合分布の切り捨て版 ${\bf Z}_M$ を作成するためにリジェクションサンプリングを採用。
• 低次のモーメントから平均と分散を解くことで、個々のガウス分布のパラメータをモーメント推定により回復。
• 座標間のモーメント推定のクロス積構成を用いて、多変量パラメータ全体を回復。
• サンプリングに基づく誤差解析を実装し、真の分布と仮説分布間の KL 収束をバウンド。
• 行列の特異値理論を用いてモーメント推定の誤差を分析し、先行研究の技術を拡張。

実験結果

リサーチクエスチョン

• RQ1 成分間に分離の仮定がない場合でも、軸に沿ったガウス分布の混合を効率的に PAC-学習可能か？
• RQ2 ガウス混合学習において最小混合重みへの依存を排除することは可能か？
• RQ3 離散的プロダクト分布を対象とした WAM アルゴリズムを連続分布（例：ガウス分布）へと拡張可能か？
• RQ4 連続的状況において、モーメントベースのパラメータ推定が KL 近似の分布をもたらすための条件は何か？
• RQ5 連続ドメインにおけるサンプリング誤差をどのように制御すれば、多項式時間での学習が達成できるか？

主な発見

• アルゴリズムは時間 $\mathrm{poly}(n/\epsilon) \cdot \log(1/\delta)$ で実行され、確率 $1 - \delta$ で $\mathrm{KL}({\bf Z} \parallel {\bf Z}^\prime) \leq \epsilon$ を満たす仮説混合分布を出力する。
• 従来のクラスタリングベースのアプローチとは異なり、ガウス分布の平均間の分離や混合重みの下限を要件としない。
• モーメント推定とリジェクションサンプリングを用いて、WAM アルゴリズムが離散的領域から連続的領域へと成功裏に拡張された。
• 切り捨てられた分布と元の分布の誤差バウンドを組み合わせることで、KL 収束バウンド $33\epsilon$ を達成。
• パラメータがモーメントから回復可能で、サンプリングが効率的な限り、他の確率分布（例：ガンマ、ベータ、指数分布）へも一般化可能。
• 急速に減衰する尾部を持つ任意の積分布の混合へとこの手法を拡張可能な理論的条件が同定された。