[論文レビュー] Model-based clustering of Gaussian copulas for mixed data

Matthieu Marbac, Christophe Biernacki+1 more|arXiv (Cornell University)|May 6, 2014

Bayesian Methods and Mixture Models参考文献 35被引用数 4

ひとこと要約

本稿では、連続変数、整数変数、順序変数を含む混合型データのクラスタリングのためのガウス・コプゥラ混合モデルを提案する。コプゥラを用いることで、周辺分布と成分内相関を別々にモデル化する。この手法により、潜在変数に対するPCAを用いた意味のある可視化が可能となり、解釈可能なクラスタリングが実現される。独立成分モデルに比べ、バイアスと成分数を低減しながら、多様なデータタイプに柔軟に対応する。

ABSTRACT

Clustering task of mixed data is a challenging problem. In a probabilistic framework, the main difficulty is due to a shortage of conventional distributions for such data. In this paper, we propose to achieve the mixed data clustering with a Gaussian copula mixture model, since copulas, and in particular the Gaussian ones, are powerful tools for easily modelling the distribution of multivariate variables. Indeed, considering a mixing of continuous, integer and ordinal variables (thus all having a cumulative distribution function), this copula mixture model defines intra-component dependencies similar to a Gaussian mixture, so with classical correlation meaning. Simultaneously, it preserves standard margins associated to continuous, integer and ordered features, namely the Gaussian, the Poisson and the ordered multinomial distributions. As an interesting by-product, the proposed mixture model generalizes many well-known ones and also provides tools of visualization based on the parameters. At a practical level, the Bayesian inference is retained and it is achieved with a Metropolis-within-Gibbs sampler. Experiments on simulated and real data sets finally illustrate the expected advantages of the proposed model for mixed data: flexible and meaningful parametrization combined with visualization features.

研究の動機と目的

• 連続変数、整数変数、順序変数を含む混合型データのクラスタリングを、確率的枠組みで扱うことを目的とする。
• 混合データに一般的な多変量分布が存在しないという課題を、ガウス・コプゥラを活用することで克服することを目的とする。
• 標準的な周辺分布（正規分布、ポアソン分布、順序多項分布）を保持することで、成分のパラメータを解釈可能にすることを目的とする。
• クラスタの解釈性を高めるために、モデルのパラメータに基づく可視化ツールを提供することを目的とする。
• 混合データに依存関係と欠損値を含む状況でも頑健に動作するベイズ推論フレームワークを構築することを目的とする。

提案手法

• 各クラスタをガウス・コプゥラでモデル化し、周辺分布と依存構造を分離する。
• 標準的な周辺分布を保持する：連続変数には正規分布、整数変数にはポアソン分布、順序変数には順序多項分布を用いる。
• コプゥラの潜在変数を用いて、各成分内の個体のPCAに類似した可視化を可能にする。
• 混合周辺分布の下でも推定を簡素化するため、メトロポリス・ウィthin・ギブスサンプラーを適用する。
• すべての成分で共通の相関行列を仮定することで、パラメータ数を削減するための等分散型バージョンを導入する。
• 欠損値がランダムに欠落していると仮定した状況下で、ギブズ・サンプラーを拡張して欠損値の処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス・コプゥラ混合モデルは、解釈可能な周辺分布を保持しつつ、混合型データのクラスタリングに効果的に適用可能か？
• RQ2 本手法は、局所的に独立した混合モデルと比較して、バイアスと成分数の点で優れているか？
• RQ3 コプゥラの潜在構造は、クラスタ固有のパターンを意味的に明確に可視化可能か？
• RQ4 本モデルは、均一なデータに対する従来の有限混合モデルをどの程度一般化できるか？
• RQ5 本モデルは、他のモデルから生成されたデータにフィットする際、どの程度頑健であるか？

主な発見

• 本モデルは、3つの明確な火災行動タイプ（予測不能な火災：9%、予測可能な夏季火災：78%、冬季火災：13%）に混合データを適切にクラスタリングし、解釈可能な周辺分布および相関構造を示した。
• ガウス・コプゥラ混合モデルは、局所的に独立したモデルと比較して、必要な成分数を削減した。これは、バイアスが低く、モデル適合度が向上していることを示している。
• 潜在変数に対するPCAによる可視化により、成分3（冬季火災）が他の成分と明確に分離されており、その分布的特徴が顕著に現れた。
• 相関行列から、冬季火災におけるFFMCとDMCの値の間の意味のある依存関係、および夏季火災状態における高温と相関する要因が明らかになった。
• 異なるモデルから生成されたデータに対しても本モデルが適切にフィットしたため、一般化能力が確認された。
• 等分散型バージョンは、モデル性能に劣化を来さずにパラメータ数を削減し、より簡潔な代替モデルを提供した。