[論文レビュー] Bayesian Rose Trees

Charles Blundell, Yee Whye Teh+1 more|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 10被引用数 55

ひとこと要約

この論文は、従来の二分木に制限されるのではなく、任意の分岐構造（非二分木）を持つ木を用いてデータをモデル化する、新しいベイジアン階層的クラスタリング手法「ベイジアンローズツリー」を紹介する。計算的に効率的なグリーディーなアルゴリズムを用い、尤度を最大化することで、より柔軟でデータ駆動型の階層構造を発見し、ベンチマークデータセットにおいて標準的な二分木クラスタリングを凌駕する性能を示している。

ABSTRACT

Hierarchical structure is ubiquitous in data across many domains. There are many hierarchical clustering methods, frequently used by domain experts, which strive to discover this structure. However, most of these methods limit discoverable hierarchies to those with binary branching structure. This limitation, while computationally convenient, is often undesirable. In this paper we explore a Bayesian hierarchical clustering algorithm that can produce trees with arbitrary branching structure at each node, known as rose trees. We interpret these trees as mixtures over partitions of a data set, and use a computationally efficient, greedy agglomerative algorithm to find the rose trees which have high marginal likelihood given the data. Lastly, we perform experiments which demonstrate that rose trees are better models of data than the typical binary trees returned by other hierarchical clustering algorithms.

研究の動機と目的

• 既存の階層的クラスタリング手法が二分木の構造に制限されているという限界を解決すること。
• 各ノードで任意の分岐を持つ階層的構造を発見可能なベイジアンフレームワークを構築すること。
• 与えられたデータに対して高い尤度を持つローズツリーを特定する、計算的に効率的なアルゴリズムを開発すること。
• ローズツリーが標準的な二分木階層的クラスタリングよりもデータをより正確にモデル化できることを実証的に検証すること。

提案手法

• 各ノードで非二分の分岐を許容するデータ分割の混合モデルとして階層的構造をモデル化する。
• 事後尤度を最大化する基準に基づき、繰り返しクラスタを統合するグリーディーな凝集型アルゴリズムを用いる。
• 柔軟な木の深さと分岐を可能にするために、パーティションに対するベイジアンノンパラメトリック事前分布を採用する。
• 共役事前分布とディリクレ過程に類似した構成を用いて、計算可能な推論が可能な尤度を計算する。
• 各ステップでモデル証拠の増加が最大となる統合を選択することで、木構造を最適化する。
• 二分木の仮定を避け、任意の分岐を可能にするため、より豊富な階層的表現が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン階層的クラスタリング手法は、元のデータ階層をよりよく反映する非二分木構造を生成できるか？
• RQ2 ローズツリーは、現実世界のデータをモデリングする際、標準的な二分木階層的クラスタリングと比較してどの程度優れているか？
• RQ3 グリーディーで尤度に基づくアプローチは、高品質な階層的構造を発見する上で、効率的かつ有効であるか？
• RQ4 尤度の最適化基準は、過学習を防ぎつつ、意味のある非二分クラスタ階層を効果的に発見できるか？

主な発見

• ベンチマークデータセットにおいて、ローズツリーは常に二分木よりも高い尤度を達成しており、より良いモデル適合を示している。
• 提案されたグリーディーなアルゴリズムは、全探索を伴わずに、高尤度の木構造を効率的に発見できる。
• 実証的結果から、ローズツリーは二分木の代替手法よりも、複雑なデータ階層をより正確に表現できている。
• この手法は、二分木では表現できない非二分的で多次元のクラスタリングパターンを効果的に捉えている。