[論文レビュー] Efficient Active Algorithms for Hierarchical Clustering

Akshay Krishnamurthy, Sivaraman Balakrishnan+2 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Clustering Algorithms Research参考文献 13被引用数 27

ひとこと要約

本稿では、繰り返しデータの小さなランダムサブセットをクラスタリングすることで、類似度測定回数を著しく削減する一般化されたアクティブラーニングフレームワークを提案する。この手法は理論的保証を備え、サイズΩ(log n)のクラスタをO(n log²n)回の類似度測定で回復可能であり、O(n log³n)の時間計算量で実行可能であり、実データセット上での実験により顕著な高速化と優れたクラスタリング性能を示している。

ABSTRACT

Advances in sensing technologies and the growth of the internet have resulted in an explosion in the size of modern datasets, while storage and processing power continue to lag behind. This motivates the need for algorithms that are efficient, both in terms of the number of measurements needed and running time. To combat the challenges associated with large datasets, we propose a general framework for active hierarchical clustering that repeatedly runs an off-the-shelf clustering algorithm on small subsets of the data and comes with guarantees on performance, measurement complexity and runtime complexity. We instantiate this framework with a simple spectral clustering algorithm and provide concrete results on its performance, showing that, under some assumptions, this algorithm recovers all clusters of size ?(log n) using O(n log^2 n) similarities and runs in O(n log^3 n) time for a dataset of n objects. Through extensive experimentation we also demonstrate that this framework is practically alluring.

研究の動機と目的

• 大規模な階層的クラスタリングにおける計算コストと類似度測定回数の負担を軽減するため、ペアワイズ類似度計算の回数を最小限に抑えること。
• 既存のクラスタリングアルゴリズムに適用可能な一般化されたフレームワークを構築し、アクティブで測定効率の良いクラスタリングを可能にすること。
• アクティブラーニングによる階層的クラスタリングにおいて、クラスタ回復、測定複雑度、実行時間に関する理論的保証を提供すること。
• 実世界および合成データセットを用いた広範な実験を通じて、実用的な効率性と正確性を示すこと。

提案手法

• フレームワークは再帰的なアクティブクラスタリング戦略を用いる：各レベルで、現在のデータセットからサイズsの小さなサブセットをランダムに抽出し、それをベースとなるクラスタリングアルゴリズム（例：スペクトルクラスタリング）に適用する。
• 先行研究（Balakrishnan et al., 2011）の統計的保証を活用し、やや弱い仮定のもとで、小さなサブセットのクラスタリング結果が、全データセットの構造を反映することを保証する。
• 各レベルで新たなアクティブサンプリングとクラスタリングを現在のクラスタセットに対して実行することで、段階的にクラスタを精緻化する階層的アプローチを採用する。
• スペクトルクラスタリングを用いる場合、類似度行列の小さな部分行列に対して固有ベクトルを計算するため、全行列のスペクトル分解を回避する。
• サンプリングサイズsを調整することで、測定のオーバーヘッド、計算コスト、統計的精度のバランスを取ることが可能である。
• 性能指標へのバイアスを低減するため、小さなクラスタを除外するプルーニングステップを含む。クラスタサイズはΩ(log n)に限定する。

実験結果

リサーチクエスチョン

• RQ1 階層的クラスタリングに一般化可能なアクティブラーニングフレームワークを設計でき、類似度測定回数を削減しながらクラスタリングの正確性を維持できるか？
• RQ2 このようなアクティブフレームワークにおいて、クラスタ回復、測定複雑度、実行時間に関する理論的保証をどのように提供できるか？
• RQ3 アクティブスペクトルクラスタリングの性能は、標準的なスペクトルクラスタリングやk-meansクラスタリングと比較して、正確性と効率性の面で優れているか？
• RQ4 生物学的配列やネットワークトポロジーなど、複雑な構造を持つ実世界データセットに対しても、このフレームワークは効果的に適用可能か？

主な発見

• アクティブスペクトル（ActiveSpectral）アルゴリズムは、サイズΩ(log n)のすべてのクラスタを高確率で回復可能であり、データサイズnに対してO(n log²n)回の類似度測定とO(n log³n)の実行時間で実行可能である。
• 実世界データセット（SNPおよび系統発生）において、アクティブ版（ActiveSpecおよびActiveKMeans）は顕著な高速化を達成した。標準スペクトルクラスタリングが130秒以上かかっていたのに対し、アクティブ版は20秒未塔で実行された。その際、高いクラスタリング品質を維持した。
• SNPデータセットにおいて、アクティブスペクトル（ActiveSpec）の外れ値率は0.019、アクティブk-means（ActiveKMeans）は0.018を記録し、非アクティブベースラインを上回る、参照階層との整合性を示した。
• SNPおよび系統発生データセットにおける類似度行列の並べ替え済みヒートマップでは、ActiveSpectralおよびActiveKMeansの両者で明確なブロック構造が観察され、優れたクラスタリング性能を示した。
• NIPSおよびRTWデータセットにおいても、フレームワークは頑健性を示したが、RTWでは多数の小さなクラスタが不十分にサンプリングされており、性能が低下した。
• 結果から、アクティブアルゴリズムがO(n log²n)回の類似度測定で高ランク行列（例：ランクn/log n）を効率的に回復できることを示唆しており、行列補完への応用可能性も示唆している。