[論文レビュー] Prior Distributions for Partitions in Bayesian Nonparametrics

Lee H. Dicker, Shane T. Jensen|arXiv (Cornell University)|Jan 3, 2008

Bayesian Methods and Mixture Models参考文献 9被引用数 2

ひとこと要約

この論文は、ベイズ非パラメトリッククラスタリングにおけるディリクレ過程およびピットマン＝ヨアール過程の代替として、パーティションに一様確率を割り当てるため、豊かになる者が増え続ける性質を避ける事前分布である均一プロセスを提案する。変数の順序に関して交換可能性を失うものの、文書クラスタリングにおいて実際の性能が優れており、従来の事前分布を上回っている。

ABSTRACT

Prior distributions play a crucial role in Bayesian approaches to clustering. Two commonly-used prior distributions are the Dirichlet and Pitman-Yor processes. In this paper, we investigate the predictive probabilities that underlie these processes, and the implicit rich-get-richer characteristic of the resulting partitions. We explore an alternative prior for nonparametric Bayesian clustering -- the uniform process -- for applications where the rich-get-richer property is undesirable. We also explore the cost of this process: partitions are no longer exchangeable with respect to the ordering of variables. We present new asymptotic and simulation-based results for the clustering characteristics of the uniform process and compare these with known results for the Dirichlet and Pitman-Yor processes. We compare performance on a real document clustering task, demonstrating the practical advantage of the uniform process despite its lack of exchangeability over orderings.

研究の動機と目的

• 既存の事前分布（ディリクレ過程およびピットマン＝ヨアール過程）がクラスタリングのパーティションにおいて豊かになる者が増え続ける性質を示すという制限を解決すること。
• パーティションに一様確率を割り当てる代替事前分布（「均一プロセス」と呼ばれる）を提案し、好ましいアタッチメント（preferential attachment）を回避すること。
• 均一プロセスによって生じるトレードオフ（変数の順序に関しての交換可能性の喪失）を分析すること。
• 均一プロセスのクラスタリング行動について、漸近的およびシミュレーションベースの特徴付けを提供すること。
• 実際の文書クラスタリングタスクにおける均一プロセスの実用的性能を評価すること。

提案手法

• 与えられたサイズのパーティションすべてに等しい確率を割り当てるパーティション上の事前分布として、均一プロセスを提案する。
• 均一プロセス下での予測確率を導出し、ディリクレ過程およびピットマン＝ヨアール過程のそれらと比較する。
• 均一プロセスの漸近的挙動を分析し、特にクラスタ数の期待値およびクラスタサイズ分布に注目する。
• シミュレーションスタディを実施し、3つのプロセス間でクラスタサイズやクラスタ数といったクラスタリング特性を比較する。
• 実世界の文書クラスタリングタスクを用いて実効的性能を評価し、標準的な指標を用いて均一プロセスをディリクレ過程およびピットマン＝ヨアール過程と比較する。
• 均一プロセスが交換可能性を欠いていることを示し、パーティションの分布がデータポイントの順序に依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 予測確率の観点から、均一プロセスはディリクレ過程およびピットマン＝ヨアール過程とどのように異なるか？
• RQ2 均一プロセスの漸近的性質は何か、特にクラスタ数の期待値およびクラスタサイズ分布に関しては？
• RQ3 均一プロセスは、ディリクレ過程およびピットマン＝ヨアール過程に見られる豊かになる者が増え続ける効果を排除できるか？
• RQ4 実際の文書クラスタリング応用において、均一プロセスの実用的性能はいかがなものか？
• RQ5 交換可能性の喪失は、均一プロセスの使用可能性および解釈可能性にどのような影響を与えるか？

主な発見

• 均一プロセスは、与えられたサイズのすべてのパーティションに一様確率を割り当てることで、ディリクレ過程およびピットマン＝ヨアール過程で見られる好ましいアタッチメントとは対照的に、豊かになる者が増え続ける性質を効果的に回避する。
• 漸近的分析により、均一プロセスはクラスタ数の増加がディリクレ過程よりも遅く、クラスタサイズの分布がよりバランスの取れていることが示された。
• シミュレーション結果は、均一プロセスがディリクレ過程およびピットマン＝ヨアール過程よりもより均等に分布したクラスタサイズを生成することを確認した。
• 交換可能性を欠いても、実際の文書クラスタリングタスクにおいて競争的または優れた性能を発揮しており、バランスの取れたクラスタリングが望まれる状況において実用上の利点があることが示唆された。
• 交換可能性の欠如は重大なトレードオフであり、パーティションの分布がデータポイントが観測される順序に依存するためである。