[論文レビュー] Finite mixture model of conditional dependencies modes to cluster categorical data

Matthieu Marbac, Christophe Biernacki+1 more|arXiv (Cornell University)|Feb 20, 2014

Bayesian Methods and Mixture Models参考文献 31被引用数 6

ひとこと要約

本稿では、従来の潜在クラスモデルの条件付き独立性仮定を緩和するために、カテゴリカル変数を条件付き独立なブロックにグループ化することで、より単純な有限混合モデル、すなわち条件付きモードモデル（CMM）を提案する。各クラスは、代表的なモードの交差（モード）によって要約され、残りの確率質量は一様に分配される。これにより、条件付き独立性の違反による過剰適合のバイアスが低減され、解釈可能なクラスタリングが可能になる。

ABSTRACT

We propose a parsimonious extension of the classical latent class model to cluster categorical data by relaxing the class conditional independence assumption. Under this new mixture model, named Conditional Modes Model, variables are grouped into conditionally independent blocks. The corresponding block distribution is a parsimonious multinomial distribution where the few free parameters correspond to the most likely modality crossings, while the remaining probability mass is uniformly spread over the other modality crossings. Thus, the proposed model allows to bring out the intra-class dependency between variables and to summarize each class by a few characteristic modality crossings. The model selection is performed via a Metropolis-within-Gibbs sampler to overcome the computational intractability of the block structure search. As this approach involves the computation of the integrated complete-data likelihood, we propose a new method (exact for the continuous parameters and approximated for the discrete ones) which avoids the biases of the extsc{bic} criterion pointed out by our experiments. Finally, the parameters are only estimated for the best model via an extsc{em} algorithm. The characteristics of the new model are illustrated on simulated data and on two biological data sets. These results strengthen the idea that this simple model allows to reduce biases involved by the conditional independence assumption and gives meaningful parameters. Both applications were performed with the R package exttt{CoModes}

研究の動機と目的

• 古典的な潜在クラスモデルに適用する際、条件付き独立性仮定が引き起こすバイアスを是正すること。
• 過剰なパrameter化を伴わずに、カテゴリカル変数間のクラス内依存関係を捉える、単純かつ柔軟なモデルの開発。
• 従来の手法が計算的に非効率となる高次元カテゴリカルデータの設定において、モデル選択とパrameter推定を可能にすること。
• 変数ブロック内での顕著なモード交差によって特徴づけられる意味のある、解釈可能なクラスタを特定する手法の提供。
• 生物学的およびシミュレートデータセットへの実用的応用を可能にするRパッケージCoModesによる実装の提供。

提案手法

• モデルはカテゴリカル変数を条件付き独立なブロックに分割し、各ブロックの分布は最も可能性の高いモード交差によって定義されるスパースな多項分布とする。
• 観察されないモード組み合わせに対する残りの確率質量は一様に分配され、単純さを保ちつつ柔軟性を維持する。
• 組み合わせ的空間におけるブロック構造とモード構成の探索を、メトロポリス・インナー・ギブスサンプリングを用いて行い、計算的に非効率な問題を克服する。
• 連続パrameterについては正確な方法、離散パrameterについては近似手法を用いて完全データ尤度を統合的に計算し、BIC基準に内在するバイアスを回避する。
• モデル選択はこの尤度に基づく基準を用い、その後、最良の適合モデルに対してEMアルゴリズムを用いて最終的なパrameter推定を実施する。
• ブロック構造は全クラスに共通であると仮定し、モデルの一般的同定可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立性を緩和する有限混合モデルが、カテゴリカルデータにおけるクラスタリングの正確性と解釈性を向上させることができるか。
• RQ2 過剰なパrameter化や計算コストを伴わず、カテゴリカル変数間のクラス内依存関係を効果的にモデル化する方法は何か。
• RQ3 統合完全データ尤度に基づく提案手法が、BICに比べて正しいクラス数やブロック構造をより的確に特定できるか。
• RQ4 条件付き独立性が破られる状況において、古典的潜在クラスモデルに比べてCMMがクラス数の過剰推定をどの程度低減できるか。
• RQ5 実際の生物学的データセットにおいて、CMMは変数ブロック内の顕著なモード交差によって特徴づけられる意味のある、解釈可能なクラスタを特定できるか。

主な発見

• 条件付きモードモデル（CMM）は、特に変数間に条件付き依存性がある場合に、条件付き独立性仮定に起因するバイアスを著しく低減した。
• シミュレートデータにおいて、CMMは真のクラス数とブロック構造を正しく特定したが、古典的潜在クラスモデル（cim）はクラス数を過剰に推定した。
• 生物学的データセットにおいて、3クラスのCMMは明確で解釈可能な分割を示した：クラス1（42％）は悪心や腰痛なし、クラス2（34％）は腰痛ありで悪心なし、クラス3（24％）は悪心・腰痛に発熱および排尿痛を伴う。
• 交差表（confusion matrices）の結果、CMMの分割は特に代表的クラス（クラス3）において、cimの分割よりも一貫性が高く、分離度が優れていた。
• BIC基準はモデル選択においてバイアスを示したが、提案手法の統合完全データ尤度法はより正確な結果をもたらした。
• RパッケージCoModesはモデルを効果的に実装し、シミュレートデータおよび実データの両方における再現性のある解析とパrameter推定を可能にした。