[論文レビュー] Sparse Bayesian Unsupervised Learning

Stéphane Gaïffas, Bertrand Michel|arXiv (Cornell University)|Jan 30, 2014

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、スパarsity誘導型の事前分布を用いた一般化ベイズ後測度を用いて、高次元クラスタリングにおける関連変数の同時選択とクラスタ数の推定を可能にするスパースなベイズ非監視学習手法を提案する。スパース性のオラクル不等式を確立し、推定誤差の観点から最適なクラスタ数 $K$ と変数集合 $S$ の選択を証明する。また、クラスタリングに特化した提案分布を用いた効率的なメトロポリス・ハスティングス法により、約300ステップで高速収束を達成する。

ABSTRACT

This paper is about variable selection, clustering and estimation in an unsupervised high-dimensional setting. Our approach is based on fitting constrained Gaussian mixture models, where we learn the number of clusters $K$ and the set of relevant variables $S$ using a generalized Bayesian posterior with a sparsity inducing prior. We prove a sparsity oracle inequality which shows that this procedure selects the optimal parameters $K$ and $S$. This procedure is implemented using a Metropolis-Hastings algorithm, based on a clustering-oriented greedy proposal, which makes the convergence to the posterior very fast.

研究の動機と目的

• ノイズ変数が真のクラスタ構造を隠す高次元データのクラスタリングという課題に対処すること。
• 高次元で $d \gg n$ の非監視状況下で、クラスタ数 $K$ と関連変数集合 $S$ を同時に選択すること。
• ガウス・ミックスチャネル・モデル（GMM）における変数選択とクラスタリングのための統計的に整合性のある理論的保証を有する手法を開発すること。
• 理論的根拠が乏しく、クラスタ平均間で共通のサポートを強制できないL1正則化などの罰則付き手法の限界を克服すること。
• 標準的なMCMCの計算コストを低減するため、メトロポリス・ハスティングス法にグリーディでクラスタリングに特化した提案分布を用いる計算効率の良い代替手法を提供すること。

提案手法

• 2サンプル分割法を用いる：1つは後測度の学習に、もう1つは最尤推定器の推定に使用する。
• クラスタ数 $K$ と変数集合 $S$ の両方にスパarsity誘導型の事前分布を適用した一般化ベイズ後測度を適用する。
• PACベイズフレームワークを用いて理論的保証を導出し、モデル選択と推定を統一的なベイズ学習ルールで統合する。
• 離散的パrameter空間 $(K, S)$ を効率的に探索するため、クラスタリングに特化したグリーディな提案分布を用いたメトロポリス・ハスティングス法を実装する。
• クラスタ平均を $\mu_k = \bar{\mu} + m_k$ として分解する制約付きガウス・ミックスチャネル・モデル（GMM）を用いる。$m_k$ にスパarsityを仮定する。
• マサール03およびコーエンレペンエック11の結果に依拠し、ブレケット化エントロピーと逸脱バウンドを用いてハリントンリスクを制御し、推定誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 スパース性の理論的保証を備えたベイズ的手法は、高次元非監視学習において、クラスタ数 $K$ と関連変数集合 $S$ を同時に選択可能か？
• RQ2 提案手法は、最適な $(K, S)$ 組合せを自動的に選択することで、推定誤差を最適化できるか？
• RQ3 メトロポリス・ハスティングス法におけるクラスタリングに特化した提案分布の使用は、標準的な提案分布と比較して収束速度にどのように影響するか？
• RQ4 PACベイズフレームワークは、GMMを用いたスパースなモデルベースクラスタリングに成功裏に適応可能か？
• RQ5 推定誤差と変数選択の一貫性という観点から、本手法の統計的性能はいかほどか？

主な発見

• 本手法はスパース性オラクル不等式を達成し、推定誤差の観点から最適な $(K, S)$ 組合せが一般化後測度によって選択されることを証明する。
• 適切に設計されたクラスタリングに特化した提案分布のおかげで、後測度への収束が約300ステップで達成され、高速な混合を示す。
• 理論的境界から、期待されるハリントンリスクが $\frac{\ln K! + |S|\ln(ed/|S|)}{n_1}$ のオーダーで制御されることを示し、モデルの複雑さとスパarsityを反映する。
• 推定誤差は $\mathcal{K}(f^\star, \mathcal{F}_\eta) + \kappa \left( \frac{D(\eta)}{n_2} \left( \mathcal{A}^2 + \ln^+(n_2 / (\mathcal{A}^2 D(\eta))) \right) + \frac{1}{n_2} \right)$ で有界であり、明示的な定数を伴う。
• 選択された $m_k$ のすべてが同じサポートを持つことが保証され、クラスタ分離を駆動するのは共通の変数集合に限られることを強制する。
• 本手法は、高次元GMMにおけるスパースなモデルベース非監視学習に対して、スパース性オラクル不等式を初めて提供する。