[論文レビュー] Finite mixture regression: A sparse variable selection by model selection for clustering

Émilie Devijver|arXiv (Cornell University)|Sep 4, 2014

Bayesian Methods and Mixture Models参考文献 13被引用数 5

ひとこと要約

本稿は、高次元設定下における有限混合回帰モデルに対して、スパース変数選択手法を提案する。L1正則化付き最尤推定とモデル選択を組み合わせ、クラスタリングに寄与する関連変数を同定する。導出された推定量に関して、Jensen-Kullback-Leibler損失のもとでオラクル不等式を確立し、これは、Lassoに基づく変数選択から得られるランダムなモデル集合に適応された非漸近的モデル選択定理に基づく。

ABSTRACT

We consider a finite mixture of Gaussian regression model for high- dimensional data, where the number of covariates may be much larger than the sample size. We propose to estimate the unknown conditional mixture density by a maximum likelihood estimator, restricted on relevant variables selected by an 1-penalized maximum likelihood estimator. We get an oracle inequality satisfied by this estimator with a Jensen-Kullback-Leibler type loss. Our oracle inequality is deduced from a general model selection theorem for maximum likelihood estimators with a random model collection. We can derive the penalty shape of the criterion, which depends on the complexity of the random model collection.

研究の動機と目的

• 説明変数の数が標本サイズを上回る高次元データのクラスタリングの課題に対処すること。
• 同時に関連変数の選択と混合成分の推定を可能にする手法の開発。
• 高次元設定下での変数選択およびクラスタリング性能に対する理論的保証の確保。
• Lassoに基づく変数選択から得られるランダムなモデル集合に適応した非漸近的モデル選択理論の拡張。
• 有限標本設定下でオラクル効率性を達成する正則化基準の提供。

提案手法

• 各成分がクラスタに該当し、クラスタ固有の回帰係数を持つ、ガウス混合回帰モデルを定式化する。
• 次元削減とスパarsityの強制を目的として、L1正則化付き最尤推定を用いて関連変数を選択する。
• Lassoが特定したアクティブ集合に基づいてランダムなモデル集合を構築し、データ駆動型の候補モデルを形成する。
• 最尤推定量に対する一般化されたモデル選択定理を適用し、データ駆動型のペナルティ形状を持つ正則化基準を導出する。
• ブレケットエントロピーとエントロピー・エントロピーを用いてモデル集合のエントロピーをバインドし、複雑さ依存のペナルティを導出する。
• アクティブ集合の次元とクラスタ数に依存するペナルティ関数を導出することで、オラクル不等式を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元有限混合回帰モデルにおいて、変数選択とクラスタリングを同時に達成可能か？
• RQ2 このようなモデルに対して、非漸近的最適性を保証する正則化基準はどのように設計可能か？
• RQ3 高次元スパース設定下で、提案された推定量の理論的性能保証（例：オラクル不等式）は何か？
• RQ4 Lasso選択によるものであるため、モデル集合のランダム性がモデル選択定理およびペナルティ設計に与える影響は？
• RQ5 ペナルティはクラスタ数とアクティブ変数集合のサイズにどのように依存するか？

主な発見

• 提案された推定量について、Jensen-Kullback-Leibler型損失のもとでオラクル不等式が確立され、推定リスクが最適リスクに対し対数因子の程度で有界であることが示された。
• ペナルティ形状は、ランダムなモデル集合の複雑さに起因し、クラスタ数 $k$ とアクティブ変数集合のサイズ $|J|$ に依存する。ここで $D_{(k,J)} = k(1 + |J|)$ である。
• モデル集合のエントロピーは、ブレケットエントロピーを用いてバインドされ、そのバインドは $k$、$|J|$、およびモデルパラメータの範囲に依存する。
• 非漸近的モデル選択定理が、Lassoに基づく変数選択から得られるランダムなモデル集合に対しても拡張され、従来の決定的集合に対する結果を一般化した。
• ペナルティが $ olimits\sqrt{D_{(k,J)} \log(1/\sigma)}$ のオーダーであることが示され、適切な条件下でモデル選択の整合性が保証された。
• すべてのモデルにおける指数的重みの和が 2 未満に抑えられ、ペナルティがモデル選択枠組みにおいて有効であることを裏付ける。