[論文レビュー] PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes

Silvia Liverani, David I. Hastie+3 more|arXiv (Cornell University)|Mar 12, 2013

Bayesian Methods and Mixture Models参考文献 22被引用数 9

ひとこと要約

この論文では、ディリクレ過程の事前分布を用いたベイジアンプロファイル回帰混合モデルのためのRパッケージPReMiuMを紹介する。このモデルは、潜在的なグループを通じて応答変数と共変数を結びつける非パラメトリックなクラスタリングを可能にする。本パッケージは多様なデータ型をサポートし、欠損共変数を処理でき、変数選択が可能であり、収束診断、予測、後処理のためのツールを提供する。シミュレーションでは安定性と正確性が確認された。

ABSTRACT

PReMiuM is a recently developed R package for Bayesian clustering using a Dirichlet process mixture model. This model is an alternative to regression models, non-parametrically linking a response vector to covariate data through cluster membership. The package allows Bernoulli, Binomial, Poisson, Normal and categorical response, as well as Normal and discrete covariates. Additionally, predictions may be made for the response, and missing values for the covariates are handled. Several samplers and label switching moves are implemented along with diagnostic tools to assess convergence. A number of R functions for post-processing of the output are also provided. In addition to fitting mixtures, it may additionally be of interest to determine which covariates actively drive the mixture components. This is implemented in the package as variable selection.

研究の動機と目的

• 共変数と応答変数の間の潜在的グループ所属を通じて関連づけられる、多変量データのクラスタリングに柔軟なベイジアンフレームワークを開発すること。
• 従来の回帰モデルを拡張し、共変数と応答変数の間の非パラメトリックでクラスタベースの関係を許容すること。
• 二値、カテゴリカル、カウント、連続応答および共変数を含む、欠損値処理を含めた、多様なデータ型を扱える、強固でスケーラブルなRパッケージを実装すること。
• クラスタ形成を駆動する共変数を特定するための変数選択ツールを提供すること。
• MCMCサンプラー、ラベル入れ替え移動、収束診断を通じて、信頼性の高い推論を保証すること。

提案手法

• クラスタ数を非パラメトリックに決定するために、スティックブレイキング構成を用いたディリクレ過程混合モデル（DPMM）を用いる。
• 切断近似を回避するため、クラスタの割り当てと成分パラメータを同時に更新するスライスサンプリングに基づくMCMCアルゴリズムを採用する。
• 条件付き共役の指数型分布族の事前分布を用いて、二値、カテゴリカル、カウント、連続応答のモデルをサポートする。
• 連続的および離散的両方の共変数タイプを組み込み、混合予測子タイプの柔軟なモデリングを可能にする。
• クラスタ所属の事後確率を用いたラオ＝ブラックウェルド予測を実装し、予測精度を向上させる。
• 収束および安定性の評価のため、類似度行列の計算や最適なクラスタリング推定を含む診断関数を提供する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ過程混合を用いた非パラメトリックベイジアンモデルは、固定されたグループ数を仮定せずに、共変数と応答変数を結びつける潜在的クラスタを効果的に同定できるか？
• RQ2 PReMiuMパッケージは、二値、カテゴリカル、カウント、連続応答および共変数を含む混合データ型をどの程度適切に処理できるか？
• RQ3 モデルに変数選択を組み込むことで、クラスタ構造を駆動する最も重要な共変数をどの程度正確に特定できるか？
• RQ4 MCMCサンプラーおよび収束診断は、現実世界およびシミュレーション設定の両方でどの程度安定的かつ信頼性があるか？
• RQ5 共変数に欠損値が含まれる場合を含め、新規データに対する予測を正確に生成できるか？

主な発見

• PReMiuMパッケージは、ディリクレ過程の事前分布を用いた完全なベイジアンプロファイル回帰モデルを実装し、自動的なグループ選択を伴う非パラメトリッククラスタリングを可能にした。
• シミュレーションでは優れた安定性が示され、20,000回のバーニングと10,000回のサンプリング反復後、独立したMCMCチェインがほぼ同一の結果を生成した。
• 欠損共変数値は事後分布において統合され、効果的に母集団平均として扱われ、適切に処理された。
• クラスタ所属の事後確率に基づく予測分布（ラオ＝ブラックウェルド推定）は、シミュレートされたデータとよく一致し、モデルの妥当性を確認した。
• ヒートマップおよび類似度行列関数は、類似度の高い事後確率を持つ観測値が一括してグループ化される形でクラスタ構造を効果的に可視化した。
• 変数選択機能は、シミュレーションデータにおけるクラスタ形成を駆動する共変数を正確に同定した。