[論文レビュー] Bayesian approach to clustering real value, categorical and network data: solution via variational methods

Alexei Vázquez|ArXiv.org|May 17, 2008

Bayesian Methods and Mixture Models参考文献 6被引用数 3

ひとこと要約

本稿では、対称性に基づく事前分布を用いて隠れたグループ構造をモデル化することにより、実数値データ、カテゴリカルデータ、ネットワークデータのクラスタリングのための変分ベイズ枠組みを提案する。自己整合的な変分ベイズアルゴリズムを導出し、モデルの複雑さを内蔵的にペナルティ化する。これは、AIC や BIC などの外部基準を用いずに、クラスターやグラフモジュールを同定するのに対し、最尤法を上回る性能を発揮する。

ABSTRACT

Data clustering, including problems such as finding network communities, can be put into a systematic framework by means of a Bayesian approach. The application of Bayesian approaches to real problems can be, however, quite challenging. In most cases the solution is explored via Monte Carlo sampling or variational methods. Here we work further on the application of variational methods to clustering problems. We introduce generative models based on a hidden group structure and prior distributions. We extend previous attends by Jaynes, and derive the prior distributions based on symmetry arguments. As a case study we address the problems of two-sides clustering real value data and clustering data represented by a hypergraph or bipartite graph. From the variational calculations, and depending on the starting statistical model for the data, we derive a variational Bayes algorithm, a generalized version of the expectation maximization algorithm with a built in penalization for model complexity or bias. We demonstrate the good performance of the variational Bayes algorithm using test examples.

研究の動機と目的

• 実数値、カテゴリカル、ネットワーク構造データを含む多様なデータタイプのクラスタリングのための統一的ベイズ枠組みの開発。
• クラスタリングにおけるモデル選択の課題に、複雑さペナルティを推論プロセスに直接組み込むことで対処。
• ジェインズの最大エントロピー原理を拡張し、対称性に基づいて非情報的事前分布を導出することで、事前分布の不整合を是正。
• ブール型データの二面的クラスタリング問題をハイパーグラフおよび二部グラフモデルに写像し、スケーラブルな推論を実現。
• 変分ベイズアルゴリズムが、AIC や BIC などの外部モデル選択基準に依存せずに、安定的かつ自己整合的なクラスタリング結果を提供することの実証。

提案手法

• サンプルおよび／または変数レベルに隠れたグループ構造を持つ生成モデルを定式化し、クラスタリングを実現。
• 対称性の議論を用いて非情報的事前分布を導出し、位置スケール族に対するジェインズの事前分布を是正し、多項分布モデルへ一般化。
• 平均場近似を適用して、モデルパラメータおよびグループ割り当ての不確実な事後分布を近似。
• EM に類似した自己整合的な変分ベイズ方程式のセットを導出し、モデルバイアスに対する内蔵的ペナルティを備える。
• ブール型データの二面的クラスタリングをハイパーグラフおよび二部グラフモデルに写像し、複雑なネットワークにおけるモジュール検出を可能に。
• 得られた VB アルゴリズムを用いて、適合度と複雑さのバランスを取る再帰的最適化により、グループ所属とモデルパラメータを推論。

実験結果

リサーチクエスチョン

• RQ1 実数値、カテゴリカル、ネットワークデータのクラスタリングに、変分推論を用いた体系的なベイズアプローチをどのように適用できるか。
• RQ2 位置スケール族および多項分布尤度を持つ混合モデルに対して、対称性の原則から導かれる正しい非情報的事前分布は何か。
• RQ3 変分ベイズアルゴリズムは、AIC や BIC などの外部基準に依存せずに、適合度と複雑さのバランスをどのように自動的にとるか。
• RQ4 ブール型データの二面的クラスタリングは、ハイパーグラフまたは二部グラフ生成モデルを用いて効果的にモデル化・解釈可能か。
• RQ5 本手法は、特に安定性と正確性の観点から、最大尤度法と比較してグラフモジュール検出においてどのように優れているか。

主な発見

• 変分ベイズアルゴリズムは、平均二乗偏差（適合度）と逆クラスターサイズ（複雑さペナルティ）のバランスを取ることで、実数値データのクラスタを的確に同定する。
• 本手法は、位置スケール族に対するジェインズの事前分布を是正し、多項分布モデルへ一般化することで、適切な非情報的事前分布を保証する。
• ブール型データに対しては、二面的クラスタリング問題がハイパーグラフおよび二部グラフモデルに写像され、変分推論を用いたモジュール検出が可能になる。
• VB アルゴリズムは、自己整合的なモデル複雑度補正を組み込むことで、最大尤度法を上回り、グラフモジュール検出において優れた性能を発揮する。
• データ内のグループ差が顕著な場合、本アルゴリズムは安定的かつ正確なクラスタリング結果を達成し、テスト例において高い耐性を示す。
• 本フレームワークは柔軟性に富み、トポロジカル類似性やエッジ密度に基づくコミュニティなど、異なるデータタイプおよびクラスタリング定義へも適応可能である。