[論文レビュー] A Bayesian Model for Supervised Clustering with the Dirichlet Process Prior

Hal Daumé, Daniel Marcu|ArXiv.org|Jul 4, 2009

Bayesian Methods and Mixture Models参考文献 33被引用数 48

ひとこと要約

本論文は、未知かつ可変なクラスタ数を扱えるようにするため、ディリクレ過程事前分布を用いたベイジアンノンパラメトリックモデルを提案する。未観測の「リファレンスタイプ」を導入し、MCMC推論を適用することで、レコードリンケージやキャシオンマッチングを含む複数の実世界タスクにおいて、非監視および最先端の監視手法を上回る性能を発揮する。

ABSTRACT

We develop a Bayesian framework for tackling the supervised clustering problem, the generic problem encountered in tasks such as reference matching, coreference resolution, identity uncertainty and record linkage. Our clustering model is based on the Dirichlet process prior, which enables us to define distributions over the countably infinite sets that naturally arise in this problem. We add supervision to our model by positing the existence of a set of unobserved random variables (we call these "reference types") that are generic across all clusters. Inference in our framework, which requires integrating over infinitely many parameters, is solved using Markov chain Monte Carlo techniques. We present algorithms for both conjugate and non-conjugate priors. We present a simple--but general--parameterization of our model based on a Gaussian assumption. We evaluate this model on one artificial task and three real-world tasks, comparing it against both unsupervised and state-of-the-art supervised algorithms. Our results show that our model is able to outperform other models across a variety of tasks and performance metrics.

研究の動機と目的

• レコードリンケージ、コアファレンス解決、リファレンスマッチングとして知られる一般的な監視付きクラスタリング問題を、原理的で生成的モデルによって解決すること。
• 固定されたKを仮定せずにクラスタ数を自動的に推定できるようにし、ディリクレ過程事前分布のノンパラメトリック性を活用すること。
• クラスタを越えて一般化可能な未観測の「リファレンスタイプ」を介して監視を統合し、クラスタリング精度を向上させること。
• 無限に多くのパラメータを統合できる計算効率の良いMCMC推論手法を開発すること。
• 人工的および実世界のデータセット上でモデルを評価し、多様なタスクおよび指標において堅牢な性能を示すこと。

提案手法

• クラスタ割り当てのノンパラメトリック分布を定義するためにディリクレ過程事前分布を用い、未知かつ無限に多くのクラスタを許容する。
• 全クラスタに共通する一般化されたクラスタレベル特徴を表す潜在変数として、未観測の「リファレンスタイプ」を導入する。
• 濃度パラメータαに対してガンマ分布、クラスタ固有パラメータx_mに対してベータ分布を用いた共役事前分布の設定を採用する。
• 二値インジケータベクトルiがどの項がαのガンマ事後分布に寄与するかを決定するかを統合するため、ギブスサンプリングを用いたMCMCサンプリングを適用する。
• α、n_m、k_mを条件とする各x_mの周辺事後分布をベータ分布として導出し、MCMC中の効率的なサンプリングを可能にする。
• 二値インジケータベクトルiにおけるギブスサンプリング手順を用いて計算される混合重みを伴うガンマ分布の混合を用いて、αの事後分布を表現する。

実験結果

リサーチクエスチョン

• RQ1 ディリクル過程事前分布を用いることで、未知のクラスタ数を扱えるベイジアンノンパラメトリックモデルは、監視付きクラスタリングを効果的に処理できるか？
• RQ2 未観測のリファレンスタイプを介して、ノンパラメトリッククラスタリングモデルに監視を形式的に統合できるか？
• RQ3 無限次元パrameter空間におけるMCMC推論が、実世界のクラスタリングタスクにおいて計算的に実行可能か？
• RQ4 提案手法は、多様な実世界データセットにおいて、既存の監視付きおよび非監視付きクラスタリング手法を上回る性能を発揮するか？
• RQ5 モデルの性能は、事前分布およびハイパーパrameterの選択にどれほど感度を示すか？

主な発見

• 本モデルは、レコードリンケージ、キャシオンマッチング、コアファレンス解決を含む複数の実世界タスクで優れた性能を発揮し、非監視および最先端の監視ベースラインを上回る。
• ディリクル過程事前分布の使用により、Kの事前の指定を必要とせず、クラスタ数を自動的に推定でき、実世界データにおける未知のクラスタ構造において極めて重要である。
• ギブスサンプリングによる二値インジケータベクトルiの推論と、αのガンマ混合サンプリングを含むMCMC推論手順は、中程度の問題（M < 100、n_m < 1000、k_m < 500）において約50〜200イテレーションで収束する。
• ハイパーパrameterの選択に対してモデルの性能が安定しており、評価指標のあらゆる面で一貫した向上が確認された。
• 共有潜在変数としての「リファレンスタイプ」の導入により、トレーニング例全体にわたる一般的なクラスタレベルのパターンを捉えることができ、クラスタリング精度が顕著に向上した。
• 特にアイデンティティの不確実性が高く、ノイズが多い特徴を有するタスク、例えばキャシオンマッチングやレコードリンケージにおいて、優れた一般化性能を示した。