[論文レビュー] Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility

Juho Lee, Seungjin Choi|arXiv (Cornell University)|Jan 29, 2015

Bayesian Methods and Mixture Models参考文献 14被引用数 5

ひとこと要約

本稿では、共役指数型分布族における小分散漸近解析を用いてハイパーパrameterチューニングの必要性を排除する非確率的代替手法である緩和型ベイジアン階層的クラスタリング（RBHC）を提案する。RBHCは、距離ベースの手法と同等のスケーラビリティを達成しながらも、BHCが持つクラスタ数推定の柔軟性を維持しており、実用的に還元可能である距離関数を有するため、最近隣鎖アルゴリズム（RBHC-nnca）を用いた効率的な木構造構築が可能である。

ABSTRACT

Bayesian hierarchical clustering (BHC) is an agglomerative clustering method, where a probabilistic model is defined and its marginal likelihoods are evaluated to decide which clusters to merge. While BHC provides a few advantages over traditional distance-based agglomerative clustering algorithms, successive evaluation of marginal likelihoods and careful hyperparameter tuning are cumbersome and limit the scalability. In this paper we relax BHC into a non-probabilistic formulation, exploring small-variance asymptotics in conjugate-exponential models. We develop a novel clustering algorithm, referred to as relaxed BHC (RBHC), from the asymptotic limit of the BHC model that exhibits the scalability of distance-based agglomerative clustering algorithms as well as the flexibility of Bayesian nonparametric models. We also investigate the reducibility of the dissimilarity measure emerged from the asymptotic limit of the BHC model, allowing us to use scalable algorithms such as the nearest neighbor chain algorithm. Numerical experiments on both synthetic and real-world datasets demonstrate the validity and high performance of our method.

研究の動機と目的

• 実用的応用におけるベイジアン階層的クラスタリング（BHC）のスケーラビリティおよびハイパーパrameterへの感受性を改善すること。
• 共役指数型分布族モデルにおける小分散漸近解析を活用し、非確率的かつスケーラブルなBHCの代替手法を構築すること。
• 得られた距離関数の還元可能性を調査し、最近隣鎖アルゴリズムによる効率的な木構造構築を可能にすること。
• RBHCが、慎重なハイパーパrameterチューニングを必要とせずに、合成データおよび実世界のデータセットにおいて高いクラスタリング性能を維持することを示すこと。

提案手法

• 共役指数型分布族の尤度のもとでBHCモデルに小分散漸近解析を適用し、確率的でない決定論的距離関数を導出する。
• BHCの周辺尤度の漸近的極限を導出し、十分統計量とクラスタサイズにのみ依存する簡略化された距離関数を得る。
• RBHCで得られる距離関数が高確率で還元可能であることを示し、最近隣鎖アルゴリズムによる効率的な木構造構築が可能であることを裏付ける。
• 2つの変種を実装する：RBHC-greedy（標準的なグリーディマージングを用いる）およびRBHC-nnca（時間的・空間的計算量を改善する最近隣鎖アルゴリズムを用いる）。
• Bregman散発に基づくコスト最小化を理論的基盤とし、RBHCを既存のクラスタリングフレームワークと関連付ける。
• ガウス分布、ポアソン分布、多項分布の仮定のもとで、合成データおよび実世界のデータセットに対して手法を検証し、BHC、ウォード法、連結法と比較する。

実験結果

リサーチクエスチョン

• RQ1 小分散漸近解析を用いてベイジアン階層的クラスタリングモデルを非確率的定式化できるか、かつクラスタ数推定の柔軟性を保持できるか？
• RQ2 緩和モデル（RBHC）で得られる距離関数は、ハイパーパrameterチューニングを回避しつつも高いクラスタリング精度を維持できるか？
• RQ3 RBHCにおける距離関数は実用的に還元可能か？ その結果、時間的・空間的計算量を削減できる最近隣鎖アルゴリズムの適用が可能か？
• RQ4 多様なデータ分布および実世界のデータセットにおいて、RBHCは従来の凝集型クラスタリングおよび元のBHCと比較して、性能および効率性において優れているか？

主な発見

• RBHC-greedyおよびRBHC-nncaは、大多数の合成データセットで最高のクラスタリング精度を達成し、従来の凝集型手法を上回り、BHCと同等またはそれを上回る性能を示した。
• 多項分布の場合、BHCがより良い性能を示したのはハイパーパrameterチューニングが比較的容易だったためであるが、RBHC-nncaも競争力を持っており、チューニングを一切必要としなかった。
• MNISTデータセット（ガウス分布仮定）では、BHCは49×49の精度行列のチューニングが困難なため収束に失敗したが、RBHC-greedyおよびRBHC-nncaは調整ランダムインデックス（ARI）63.7％を達成し、ウォード法（48.5％）を上回った。
• Caltech101データセット（多項分布仮定）では、BHCが最高のARI（64.6％）を記録したが、RBHC-greedyおよびRBHC-nncaも56.0％のARIを達成し、他のすべての従来手法を上回った。
• 最近隣鎖アルゴリズム（RBHC-nnca）により、空間計算量がO(n)、時間計算量がO(n²)に削減され、グリーディアプローチのO(n² log n)時間およびO(n²)空間に比べ顕著な改善が得られた。
• RBHCにおける距離関数は実用的に還元可能であることが判明し、理論的還元可能性がすべてのケースで保証されないにもかかわらず、効率的な木構造構築が可能であった。