[論文レビュー] Pitman-Yor Diffusion Trees

David A. Knowles, Zoubin Ghahramani|arXiv (Cornell University)|Jun 13, 2011

Bayesian Methods and Mixture Models参考文献 22被引用数 17

ひとこと要約

この論文では、二分木の制限を除去することで階層的クラスタリングにおける任意の分岐構造を許容するベイジアン非パラメトリックモデル、Pitman-Yor Diffusion Tree (PYDT) を提案する。分散過程をPitman-Yorの励起測度で拡張することにより、データの交換可能性と一貫性を持つ木構造の分布を実現し、解釈可能性とDDTに対する周辺尤度の向上を達成した。MCMCとメッセージパッシングを用いたグリーディEM推論により、連続およびバイナリデータセットで検証された。

ABSTRACT

We introduce the Pitman Yor Diffusion Tree (PYDT) for hierarchical clustering, a generalization of the Dirichlet Diffusion Tree (Neal, 2001) which removes the restriction to binary branching structure. The generative process is described and shown to result in an exchangeable distribution over data points. We prove some theoretical properties of the model and then present two inference methods: a collapsed MCMC sampler which allows us to model uncertainty over tree structures, and a computationally efficient greedy Bayesian EM search algorithm. Both algorithms use message passing on the tree structure. The utility of the model and algorithms is demonstrated on synthetic and real world data, both continuous and binary.

研究の動機と目的

• 二分木の制限を除去することで、Dirichlet Diffusion Tree (DDT) を一般化した階層的クラスタリングモデルの開発。
• 分散イベントにPitman-Yor過程を用いることで、データポイントの交換可能性および一貫性を持つ分布をサポートする生成プロセスの定義。
• マージナル化されたMCMCサンプラーと効率的なグリーディベイジアンEMアルゴリズム（メッセージパッシングを用いて）により、木構造における不確実性の定量化を可能に。
• 連続およびバイナリデータにおいて、DDTと比較して解釈性と予測性能が向上することの実証。

提案手法

• PYDTは架空の時間における拡散過程を用い、データポイントは原点から出発し、既存の経路に従い、分散時間（危険率に類似）に従ってランダムに分岐する。
• 時間 $ t $ における分散確率は、$ \frac{a(t)\Gamma(m - \beta)dt}{\Gamma(m + 1 + \alpha)} $ に比例する。ここで $ m $ は経路上の以前のポイント数、$ \alpha, \beta $ はPitman-Yorのパラメータ。
• モデルはPitman-Yor過程を用いて多分岐木構造を生成し、木構造の確率はガンマ関数の積とパラメータ $ \alpha, \beta $ から導出される。
• 推論は、分散位置を周辺化するマージナル化されたMCMCサンプラーと、木構造上で信念伝播を用いたグリーディベイジアンEMアルゴリズムにより実行される。
• 適切な観測モデル（例：ガウス分布およびプロビット尤度）を用いることで、連続およびバイナリデータをサポート。
• 木構造学習は、分散点の周辺尤度および後erior期待値を効率的に計算するメッセージパッシングにより実現される。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンモデルは、交換可能性と一貫性を保ちながら、階層的クラスタリングにおける任意の分岐構造をサポートできるか？
• RQ2 Pitman-Yor過程は、Dirichlet Diffusion Treeの二分木制限をどのように改善するか？
• RQ3 PYDTは木構造における不確実性を定量化でき、DDTよりも予測性能および解釈性で優れるか？
• RQ4 PYDTの生成プロセス下での木構造の理論的確率分布は何か？
• RQ5 MCMCおよびグリーディEM推論手法は、実世界の連続およびバイナリデータセットにおいてスケーリングおよび性能をどのように示すか？

主な発見

• PYDTは、多分岐Gibbs断片化木（最も一般なタイプ）に対応する、データポイントの交換可能性および一貫性を持つ分布を生成する。
• マカクの頭蓋骨データセット（$ D=10, N=200 $）において、PYDTはDDTよりも高い周辺尤度を達成し、予測性能の向上を示した。
• 内部ノードが少ないため、信念伝播のコストが低減され、PYDTにおける推論はDDTよりもわずかに効率的であった。
• 102次元のバイナリ動物属性データセットにおいて、EM学習を用いたPYDTは生物学的に意味のあるクラスタ（例：水中哺乳類、鳥類、昆虫）を有する直感的な木構造を生成した。
• 動物データセットのMAP木構造は、共通の属性（例：「水で泳ぐ」「水中に住む」）を共有するため、ペンギンが水中生物と正しくグループ化された。
• PYDTは、二分分割を強制しないより単純で自然な木表現を可能にすることで、DDTよりも優れた解釈性を実現した。