[論文レビュー] An Alternative Prior Process for Nonparametric Bayesian Clustering

Hanna Wallach, Shane T. Jensen+2 more|arXiv (Cornell University)|Jan 3, 2008

Bayesian Methods and Mixture Models参考文献 27被引用数 45

ひとこと要約

本稿では、非パラメトリックベイジアンクラスタリングにおけるディリクレ過程およびピットマン＝ヨアール過程の代替として、均一過程（uniform process）を提案する。この方法は「豊かになる者にさらに豊かになる」という性質（rich-get-richer）を回避することで、よりバランスの取れたクラスタサイズ分布を実現する。交換可能性に欠けるものの、文書クラスタリングタスクにおいて、漸近的解析、シミュレーション、および特許データセットを用いた実証的評価を通じて、予測性能が優れていることが示された。

ABSTRACT

Prior distributions play a crucial role in Bayesian approaches to clustering. Two commonly-used prior distributions are the Dirichlet and Pitman-Yor processes. In this paper, we investigate the predictive probabilities that underlie these processes, and the implicit "rich-get-richer" characteristic of the resulting partitions. We explore an alternative prior for nonparametric Bayesian clustering -- the uniform process -- for applications where the "rich-get-richer" property is undesirable. We also explore the cost of this process: partitions are no longer exchangeable with respect to the ordering of variables. We present new asymptotic and simulation-based results for the clustering characteristics of the uniform process and compare these with known results for the Dirichlet and Pitman-Yor processes. We compare performance on a real document clustering task, demonstrating the practical advantage of the uniform process despite its lack of exchangeability over orderings.

研究の動機と目的

• ディリクレ過程およびピットマン＝ヨアール過程に内在する「豊かになる者にさらに豊かになる」性質が、一部の応用において事前信念を反映しない少数の大規模クラスタを生じさせることを是正すること。
• このバイアスを回避し、よりバランスの取れたクラスタサイズ分布を促進する代替事前分布としての均一過程の検討。
• 均一過程の漸近的および有限サンプルにおけるクラスタリング特性（特に交換可能性の欠如を含む）を形式的に分析すること。
• 交換可能性に欠けるにもかかわらず、固定されたクラスタ順序のもとで正しいギブスサンプリングアルゴリズムの開発。
• 実世界の文書クラスタリングタスクにおける均一過程の実用的性能の評価を行い、ディリクレ過程モデルと比較すること。

提案手法

• 均一過程は、あるサイズのパーティションすべてが等確率であるようなパーティション上の事前分布として定義され、ディリクレおよびピットマン＝ヨアール過程の優先的付加メカニズムとは対照的である。
• 著者らは、均一過程における期待クラスタ数の漸近的挙動を導出し、サンプルサイズNに伴い平方根的増加を示すことを示した。
• 交換可能性に欠けるにもかかわらず、固定されたクラスタ割り当て順序のもとで正しく保たれる新しいギブスサンプリングアルゴリズムを考案した。
• ホールドアウトドキュメントの対数周辺尤度を計算するための「左から右へ」近似アルゴリズムを用い、予測性能の評価を可能にした。
• シミュレーションスタディおよびカーボンナノテクノロジー特許データセットを用いた実世界の文書クラスタリングタスクを通じて、均一過程とディリクル過程およびピットマン＝ヨアール過程を比較した。
• 主な評価指標としてホールドアウトデータ尤度を用い、複数回のギブスサンプラー実行およびデータの並べ替えを平均化することで、妥当性を確保した。

実験結果

リサーチクエスチョン

• RQ1 均一過程は、ディリクル過程およびピットマン＝ヨアール過程と比較して、よりバランスの取れたクラスタサイズ分布を生じさせるか？
• RQ2 均一過程における期待クラスタ数の漸近的性質は何か？
• RQ3 均一過程における交換可能性の欠如が、推論およびモデル性能に与える影響は何か？
• RQ4 均一過程は、ディリクル過程を上回る予測性能を実世界のクラスタリングタスクで達成できるか？
• RQ5 均一過程の性能は、濃度パラメータθに対してどれほど感度を示すか？

主な発見

• 均一過程では、サンプルサイズNに伴い期待クラスタ数が平方根的増加を示すのに対し、ディリクル過程は対数的増加、ピットマン＝ヨアール過程はべき乗則的増加を示す。
• シミュレーション結果から、均一過程はディリクルおよびピットマン＝ヨアール過程の「豊かになる者にさらに豊かになる」挙動と比較して、顕著にバランスの取れたクラスタサイズ分布を生じることが明らかになった。
• 交換可能性に欠けるにもかかわらず、クラスタ割り当ての順序変更に対して極めて頑健であり、さまざまな順序での予測性能に著しいばらつきが見られなかった。
• カーボンナノテクノロジー特許データセットを用いた文書クラスタリングタスクにおいて、濃度パラメータθのすべてのテスト値で、均一過程はディリクル過程を上回るホールドアウト対数尤度を一貫して達成した。
• θのすべての値で、均一過程はディリクル過程よりも平均的に多くのクラスタを生成しており、よりバランスの取れたクラスタリング構造であることを示唆している。
• 均一過程に基づくモデルは、未観測のホールドアウトドキュメントの平均対数尤度が高く、一般化性能に優れていることが示された。