[論文レビュー] Model-Based Hierarchical Clustering

Shivakumar Vaithyanathan, Byron Dom|arXiv (Cornell University)|Jan 16, 2013

Bayesian Methods and Mixture Models参考文献 10被引用数 66

ひとこと要約

この論文は、ベイジアン推論を用いてクラスタ構造、特徴分布、階層の深さを同時に学習するモデルベースの階層的クラスタリング手法を提案する。特徴をクラスタ間で固有または共有される分布でモデル化することで、周辺尤度の最大化により最適なクラスタリングを自動で決定する。文書データおよび合成データにおいて優れた性能を示している。

ABSTRACT

We present an approach to model-based hierarchical clustering by formulating an objective function based on a Bayesian analysis. This model organizes the data into a cluster hierarchy while specifying a complex feature-set partitioning that is a key component of our model. Features can have either a unique distribution in every cluster or a common distribution over some (or even all) of the clusters. The cluster subsets over which these features have such a common distribution correspond to the nodes (clusters) of the tree representing the hierarchy. We apply this general model to the problem of document clustering for which we use a multinomial likelihood function and Dirichlet priors. Our algorithm consists of a two-stage process wherein we first perform a flat clustering followed by a modified hierarchical agglomerative merging process that includes determining the features that will have common distributions over the merged clusters. The regularization induced by using the marginal likelihood automatically determines the optimal model structure including number of clusters, the depth of the tree and the subset of features to be modeled as having a common distribution at each node. We present experimental results on both synthetic data and a real document collection.

研究の動機と目的

• 階層的クラスタリングにおける特徴分布モデリングとクラスタ階層学習を統合する統一的なモデルベースの手法を開発すること。
• 周辺尤度正則化を用いて、最適なクラスタ数、木の深さ、特徴の分割を自動で決定すること。
• 特徴がクラスタ間で固有または共有される分布をとることで、階層的関係を反映すること。
• 多項分布尤度とディリクレ事前分布を用いて、文書クラスタリングにこのモデルを適用すること。
• 本手法の有効性を、合成データおよび実世界の文書コレクションの両方で示すこと。

提案手法

• クラスタ割り当てと特徴分布の共同事前分布を用いたベイジアン分析に基づく階層的クラスタリングの目的関数を定式化する。
• 2段階のプロセスを採用する：まずフラットクラスタリングを行い、その後、特徴分布の一貫性を確認しながら変更された凝集型マージングを実行する。
• 特徴が階層の部分木全体にわたって固有または共有される分布を持つとモデル化する。
• 文書データに対して、多項分布の特徴分布にディリクレ事前分布を用いる。
• 周辺尤度を正則化項として用い、クラスタ数や階層の深さを含む最適なモデル構造を選択する。
• マージングプロセス中に特徴の分割を統合し、マージされたクラスタ間で分布が一貫しているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 統一された確率的モデルは、階層的クラスタ構造と特徴分布パターンをどのように同時に学習できるか？
• RQ2 共有される特徴分布が意味のある階層的グループ化を定義する役割を果たすか？
• RQ3 周辺尤度を用いることで、手動のチューニングなしに最適なクラスタリングの深さやクラスタ数を自動で決定できるか？
• RQ4 従来の階層的クラスタリング手法と比較して、文書クラスタリングにおいて本モデルはどの程度の性能を示すか？
• RQ5 本モデルは、階層構造における複雑な特徴集合の分割をどの程度正しく捉えられるか？

主な発見

• 周辺尤度の最大化により、最適なクラスタ数と階層の深さを自動で決定するため、手動によるパrameterチューニングの必要がなくなる。
• 本手法は、クラスタ間で共有される分布を持つ特徴サブセットを効果的に同定し、階層的グループ化と整合する。
• 文書クラスタリングタスクにおいて、標準的な階層的クラスタリングベースラインと比較して、同等または優れた性能を達成する。
• 本手法は合成データに対しても一般化が良く、既知のクラスタ構造と特徴分布構造を正しく回復する。
• フラットクラスタリングから始めて、モデルに配慮したマージングを行う2段階プロセスにより、階層的構造の発見におけるスケーラビリティと正確性が向上する。
• ディリクレ事前分布と多項分布尤度の使用により、テキストのような高次元離散データの効果的なモデリングが可能になる。