[論文レビュー] Model-based regression clustering for high-dimensional data. Application to functional data

Émilie Devijver|arXiv (Cornell University)|Sep 4, 2014

Bayesian Methods and Mixture Models参考文献 24被引用数 6

ひとこと要約

本稿では、スパarsityと行列構造を扱うためにLassoによる変数選択とランクペナルティ付き尤度推定を組み合わせた、高次元および関数データ向けの2つのモデルベースの回帰クラスタリング手順を提案する。スパarsityと行列構造を同時に扱うため、非漸近的モデル選択手法（slopeヒューリスティクス）を用いたデータ駆動型モデル集合を導入し、未知のコンポーネント数とスパarsityレベルを有する高次元回帰設定において、正確なクラスタリングとパラメータ推定を可能にする。

ABSTRACT

Finite mixture regression models are useful for modeling the relationship between response and predictors, arising from different subpopulations. In this article, we study high-dimensional predic- tors and high-dimensional response, and propose two procedures to deal with this issue. We propose to use the Lasso estimator to take into account the sparsity, and a penalty on the rank, to take into account the matrix structure. Then, we extend these procedures to the functional case, where predictors and responses are functions. For this purpose, we use a wavelet-based approach. Finally, for each situation, we provide algorithms, and apply and evaluate our methods both on simulations and real datasets.

研究の動機と目的

• 予測子と応答変数が両方とも高次元である高次元回帰データに対して、非一様な回帰関係に基づくクラスタリングを実現すること。
• 回帰係数のスパarsityと係数行列の低ランク構造を同時に扱える、統一的なモデルベース回帰クラスタリングフレームワークの構築。
• 既存のLasso-MLEおよび低ランク回帰手法を、未知のコンポーネント数と変数選択を伴う有限混合モデルに拡張すること。
• 関数データに適用するため、スパarsityを誘導し局所的特徴を保持するウェーブレット表現を用いること。
• 非漸近的基準（slopeヒューリスティクス）を用いたデータ駆動型モデル選択手順を提供し、同時にコンポーネント数、スパarsityレベル、およびランクを決定すること。

提案手法

• 各クラスタの係数行列のランク $R_k$ を変化させることで、混合成分数 $K$、正則化パrameter $\lambda$、および各クラスタの $R_k$ を変化させたモデル集合を構築する。
• グループLasso推定量を用いて各モデルにおける関連変数を特定する。これは、グループ係数の $\ell_1$-ノルムによるペナルティ付き尤度を最小化することで定義される：$\hat{\theta}^{\text{Group-Lasso}} = \arg\min \left\{ -\frac{1}{n}\sum_{i=1}^n \log(h_\theta(y_i|x_i)) + \lambda \sum_{j=1}^p \sum_{m=1}^q \sqrt{K} \| [\boldsymbol{\Phi}]_{m,j} \|_2 \right\}$。
• 各 $K$ および $\lambda$ に対して、一般化されたEMアルゴリズムを用いてグループLasso推定量を計算し、混合パラメータを反復的に更新する。
• バイアスを低減するため、選択された変数上で最尤推定（MLE）を再適合する。第二の手順では、係数行列のランクに制約を課す。
• 各クラスタに対してランク制約 $R_k$ を課したモデルの部分集合を構築し、切断された特異値分解（SVD）を用いて $\boldsymbol{\Phi}_k$ に低ランク構造を強制する。
• [BirgéとMassart (2007)] が提示したslopeヒューリスティクスを用いて、モデル集合全体から最適なモデルを選択する。これは、モデルの複雑さとフィットのバランスをとる非漸近的基準を提供する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース回帰クラスタリングを、回帰係数のスパarsityを扱えるように高次元の予測子と応答変数に拡張することは可能か？
• RQ2 Lassoによる変数選択と有限混合回帰モデルにおける低ランク構造推定を統合した統一フレームワークを構築できるか？
• RQ3 データ駆動的かつ非漸近的に、同時にコンポーネント数、スパarsityレベル、およびランクをどのように選択できるか？
• RQ4 提案手法は関数データに対してどのように機能するか？また、ウェーブレット表現は、このようなデータに対してスパarsityを効果的に誘導できるか？
• RQ5 $\ell_1$ およびランク制約を併用したペナルティ付き尤度アプローチが、高次元設定におけるクラスタリング精度とパラメータ推定に与える影響は何か？

主な発見

• 提案されたLasso-MLEおよびグループLasso-ランク手順は、パラメータ数が標本サイズを上回るような状況でも、関連変数とクラスタ構造を的確に同定できる。
• EM更新を用いた正則化パrameter $\lambda$ のデータ駆動型グリッド探索により、モデル空間の効率的探索が可能となり、変数選択の安定性が向上する。
• slopeヒューリスティクスは、モデルの複雑さとフィットのバランスをとる信頼性の高い非漸近的基準を提供し、最適なモデル選択を可能にする。
• ウェーブレットに基づく関数表現は、関数データの局所的および全体的特徴を効果的に捉え、スパースかつ低ランクの回帰モデリングを可能にする。
• グループLasso-ランク手順は、係数行列に強い低ランク構造が存在する状況で、Lasso-MLEを上回る性能を示す。これは、明示的なランク制約によるものである。
• シミュレートおよび実データへの実験的評価により、本手法が高次元および関数的設定下でも真のクラスタ構造と回帰関係を回復できることを確認した。