[論文レビュー] Efficient hierarchical clustering for continuous data

Ricardo Henao, Joseph E. Lucas|arXiv (Cornell University)|Apr 20, 2012

Gaussian Processes and Bayesian Inference参考文献 17被引用数 3

ひとこと要約

本稿では、共析優先度とガウス過程モデリングを用いて、非i.i.d.な連続データのベイジアン階層的クラスタリングのための効率的な逐次モンテカルロ（SMC）サンプラーを提案する。計算量は2次関数的となり、元の3次関数的サンプラーに比べて著しく実行時間を短縮するが、高い性能を維持している。また、特に小規模データセットにおいて優れた性能を示す、改良されたグリーディアルゴリズムを導入している。

ABSTRACT

We present an new sequential Monte Carlo sampler for coalescent based Bayesian hierarchical clustering. Our model is appropriate for modeling non-i.i.d. data and offers a substantial reduction of computational cost when compared to the original sampler without resorting to approximations. We also propose a quadratic complexity approximation that in practice shows almost no loss in performance compared to its counterpart. We show that as a byproduct of our formulation, we obtain a greedy algorithm that exhibits performance improvement over other greedy algorithms, particularly in small data sets. In order to exploit the correlation structure of the data, we describe how to incorporate Gaussian process priors in the model as a flexible way to model non-i.i.d. data. Results on artificial and real data show significant improvements over closely related approaches.

研究の動機と目的

• 非i.i.d.な連続データに対する原理的で整合性のあるベイジアン階層的クラスタリング手法の不足に対処すること。
• 近似を用いずに、ベイジアン階層的クラスタリングの計算コストを3次関数的から2次関数的へ削減すること。
• Tehら（2008年）のグリーディアルゴリズムを改善するために、小規模データセットでも優れた性能を示す修正版を導出すること。
• 連続データ内の相関構造をモデル化するためにガウス過程の優先度を組み込むこと。
• 階層的クラスタリングをより大きなモデルの構築要素として利用可能なスケーラブルな推論手法を開発すること。

提案手法

• 階層的木構造の事後分布から効率的にサンプリングする逐次モンテカルロ（SMC）サンプラーを提案する。
• 2分木のトポロジーとマージ時間の非情報的優先度としてキングマンの共析を用いる。
• 非i.i.d.な依存関係をモデル化するためにガウス過程の優先度を組み込み、柔軟な相関構造の学習を可能にする。
• マージ時間の事後分布が一般化逆ガウス（GIG）分布に従うことを導出し、効率的なSMCリサンプリングを可能にする。
• 正確な手法（MPost1）とほぼ同等の性能を示すが、はるかに高速な2次関数的近似（MPost2）を導入する。
• 事後マージ時間分布のモードとしてグリーディアルゴリズムを導出し、これは元のグリーディアプローチを上回ることを示している。

実験結果

リサーチクエスチョン

• RQ1 柔軟な優先度を用いることで、ベイジアン階層的クラスタリングを非i.i.d.な連続データに効果的に拡張できるか？
• RQ2 精度を損なわずに、ベイジアン階層的クラスタリングの計算コストをO(n³)からO(n²)に削減できるか？
• RQ3 提案されたSMCサンプラーは、速度とクラスタリング品質の両面で既存の推論手法を上回るか？
• RQ4 事後分布から導出された改良型グリーディアルゴリズムは、特に小規模データセットにおいて、元のグリーディ手法を上回るか？
• RQ5 階層的クラスタリングフレームワーク内において、ガウス過程の優先度は連続データ内の相関構造をどれほど効果的にモデル化できるか？

主な発見

• 提案されたSMCサンプラーは2次関数的計算量を達成し、元の3次関数的手法に比べて実行時間を顕著に短縮した。
• MPost2近似はMPost1とほぼ同等の性能を示したが、計算効率が著しく向上した。
• 改良されたグリーディアルゴリズムは、より正確な事後分布に基づくマージ戦略のおかげで、Tehら（2008年）の元のグリーディ手法を上回り、特に小規模データセットで顕著な優位性を示した。
• mocapデータセットでは、50イテレーションで堅牢な階層的構造が得られ、最良の粒子重みは0.0784に達し、10分未満で処理が完了した。
• 本手法は人工的および実世界のデータの両方で優れた性能を示し、クラスタリングの正確性と構造の整合性の両方が向上した。
• ガウス過程の優先度の導入により、連続データ内の時空間的相関を効果的にモデル化でき、モデルの柔軟性と適合度が向上した。