[論文レビュー] Methods of Hierarchical Clustering

Fionn Murtagh, Pedro Contreras|arXiv (Cornell University)|Apr 30, 2011

Advanced Clustering Algorithms Research参考文献 48被引用数 101

ひとこと要約

本稿は、Rおよびその他の環境における効率的なアルゴリズムに焦点を当てた階層的クラスタリング手法の包括的サーベイを提示する。グリッドベースおよび線形時間アプローチに重点を置き、データの共通接頭辞構造を活用して高速かつスケーラブルなクラスタリングを実現する、新しい線形時間のm-adicクラスタリング手法を導入する。

ABSTRACT

We survey agglomerative hierarchical clustering algorithms and discuss efficient implementations that are available in R and other software environments. We look at hierarchical self-organizing maps, and mixture models. We review grid-based clustering, focusing on hierarchical density-based approaches. Finally we describe a recently developed very efficient (linear time) hierarchical clustering algorithm, which can also be viewed as a hierarchical grid-based algorithm.

研究の動機と目的

• 計算効率性と適用可能性に注目した、凝集型階層的クラスタリングアルゴリズムの実用的かつ包括的な概要を提供すること。
• 新しいグリッドベースおよび密度ベースのアプローチを通じて、階層的クラスタリングを大規模データセットにスケーリングする課題に対処すること。
• m-adic（Baire）距離に基づく新しい線形時間階層的クラスタリングアルゴリズムの導入と検証を通じて、パフォーマンスの向上を図ること。
• 理論的基盤と化学情報学、天文学、テキスト検索などの分野における実世界の応用を橋渡しすること。
• 伝統的な階層的手法と、階層的自己組織化マップやモデルベースクラスタリングを含む現代の効率的代替手法を比較・対比すること。

提案手法

• Lance-Williamsの定式化を用いて、広範な凝集型階層的クラスタリングアルゴリズムを統一的かつ計算的に取り扱いやすい枠組みで表現する。
• 再帰的近隣および近隣チェーンアルゴリズムを採用し、凝集型クラスタリングにおける重複する距離計算を削減することで、クラスタリングを高速化する。
• m-adic（例：10進数や2進数）表現におけるデータポイントの最長共通接頭辞の長さによって定義されるBaire距離メトリックを適用し、階層的構造を誘導する。
• グリッドベースのクラスタリング戦略を採用し、データポイントをm-adic展開に基づいてセルに分割し、密集度の高いセルレベルでクラスタリングを実行する。
• Baire距離の超距離的性質を活用して階層的一致性を保証し、効率的な下向きからのクラスタリングを可能にする。
• m-adic数体系の階層的性質を活用することで、m-adicクラスタリングを線形時間アルゴリズムとして実装し、n個のデータポイントに対してO(n)の計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットに対して、クラスタリング品質を損なわずに計算効率を高めるにはどうすればよいか？
• RQ2 従来のユークリッド距離やミンコフスキー距離と比較して、階層的クラスタリングにおけるBaire距離メトリックの理論的および実用的利点は何か？
• RQ3 グリッドベースおよび密度ベースのクラスタリング手法は、階層的クラスタリングにおけるスケーラビリティと形状の柔軟性をどのように向上させるか？
• RQ4 m-adicクラスタリングアルゴリズムは、階層的構造とクラスタの妥当性を維持しながら、どのように線形時間計算量を達成するか？
• RQ5 テキスト検索や化学情報学などの実世界の応用に導入する際の、階層的クラスタリングアルゴリズムの主要な実装上の考慮事項は何か？

主な発見

• m-adicクラスタリングアルゴリズムは、m-adic数体系の階層的構造を活用することで、O(n)の線形時間計算量を達成し、大規模データセットの効率的クラスタリングを可能にする。
• 最長共通接頭辞に基づくBaire距離メトリックは、自然に階層的クラスタリングをサポートする超距離空間を誘導し、明確に定義されたクラスタ階層を保証する。
• グリッドベースおよび密度ベースの手法（例：DENCLUEやCUBN）は、任意の形状のクラスタを検出でき、高次元データにおけるノイズ処理にも強固である。
• 再帰的近隣および近隣チェーンアルゴリズムにより、凝集型クラスタリングにおける重複する距離計算を回避することで、計算オーバーヘッドが顕著に削減される。
• 提案されたm-adic手法は、化学情報学、天文学、テキスト検索の分野で成功裏に応用され、強力な実証的性能とスケーラビリティを示している。
• 階層的自己組織化マップやモデルベースクラスタリングは、出力にトポロジカルまたは確率的構造を必要とする応用分野において、効果的な代替手法を提供する。