[論文レビュー] Robust Hierarchical Clustering

Maria-Florina Balcan, Yingyu Liang+1 more|arXiv (Cornell University)|Jan 1, 2014

Advanced Clustering Algorithms Research参考文献 31被引用数 57

ひとこと要約

本稿では、グローバルなクラスタ類似度と中央値ベースの連結テストを用いることで、ノイズに対して耐性を持つ、従来の凝集的手法を改善したロバストな階層的クラスタリング手法を提案する。自然なデータの性質（良い近傍性）を満たす条件下で正確なクラスタリングを達成し、ノイズの多い合成データおよび実世界のデータにおいて標準的手法を上回り、小さなランダムサンプルを用いたインダクティブ設定への拡張も効果的である。

ABSTRACT

One of the most widely used techniques for data clustering is agglomerative clustering. Such algorithms have been long used across many different fields ranging from computational biology to social sciences to computer vision in part because their output is easy to interpret. Unfortunately, it is well known, however, that many of the classic agglomerative clustering algorithms are not robust to noise. In this paper we propose and analyze a new robust algorithm for bottom-up agglomerative clustering. We show that our algorithm can be used to cluster accurately in cases where the data satisfies a number of natural properties and where the traditional agglomerative algorithms fail. We also show how to adapt our algorithm to the inductive setting where our given data is only a small random sample of the entire data set. Experimental evaluations on synthetic and real world data sets show that our algorithm achieves better performance than other hierarchical algorithms in the presence of noise. <br>

研究の動機と目的

• 古典的な凝集的クラスタリング手法がノイズおよび外れ値に対して耐性のないという知られている問題を解決すること。
• 従来の手法が失敗するノイズ環境下でも正確性を維持する、連結に基づく階層的クラスタリング手法の開発。
• 良い近傍性や境界点構造といった自然なデータの性質の下でのロバスト性の保証を形式化すること。
• 小さなランダムサンプルが利用可能なインダクティブ設定に、正しさを損なわずに効率的に拡張できるようにアルゴリズムを拡張すること。
• 実データおよび合成データにおけるアルゴリズムの優れた性能とノイズおよびパラメータチューニングに対するロバスト性を実験的に検証すること。

提案手法

• ノイズの影響を軽減するため、クラスタ類似度を計算する際に中央値テストを用いる。
• 単一のペアワイズリンクに依存するのではなく、複数の点にわたる情報を集約するグローバル類似度測度を採用する。
• 二段階のクラスタリングプロセスを導入：まず近傍構造に基づいて良い点と境界点を特定し、その後でロバストな連結を適用する。
• 得られた階層構造に対してプリーニング戦略を適用し、良い近傍性の下で正しく目標クラスタリングを回復させる。
• 小さなランダムサンプル上で階層構造を構築し、全データセットに拡張する際の正しさを保証するプロバイブルな保証を備えた形で、インダクティブ設定にアルゴリズムを適応させる。
• ノイズ耐性を制御するパラメータ α と ν（組み合わせて α + ν として）をチューニングし、実験的検証により連続的な値の範囲でロバストであることを示す。

実験結果

リサーチクエスチョン

• RQ1 自然なデータの性質（例：良い近傍性）を満たす条件下で、ノイズに対して理論的に保証されたロバスト性を有する連結ベースの凝集的クラスタリング手法を設計できるか？
• RQ2 データにどのような構造的条件（例：良い近傍性）が満たされている場合に、提案手法が正しいクラスタリングを保証するか？
• RQ3 小さなランダムサンプルしか利用できないインダクティブ設定において、正しさを損なわずにアルゴリズムをどのように適応できるか？
• RQ4 さまざまなノイズモデル下で、提案手法は標準的手法と比較してどのように性能を発揮するか？
• RQ5 アルゴリズムはどの程度パラメータチューニングに対してロバストであり、手動でのパrameter選択に対してもロバストにできるか？

主な発見

• 提案手法は、制御されたノイズを含む合成データにおいて、特に良い近傍性を満たす条件下で、標準的な凝集的手法よりも高いクラスタリング精度を達成する。
• Wine, Iris, BCW, BCWD などの実世界データセットにおいて、他の階層的クラスタリング手法と比較して一貫して優れた性能を示し、特にデータの破損やガウスノイズ下でも顕著である。
• パラメータチューニングに対してロバストであることが示され、(α + ν) の連続的な値の範囲で良好な性能を維持する。特に、Iris のような低ノイズデータセットでは、狭い範囲での設定で十分である。
• インダクティブ設定では、標準的および PFAM データセットにおいて、ランダムサンプリングのベースラインを著しく上回り、特に良い近傍性が満たされる場合に顕著である。
• Ward の手法もノイズに対してロバストであるが、提案手法は指定されたデータ性質の下でより優れた、または同等の性能を発揮し、より強い理論的保証を有する。
• インダクティブ版のアルゴリズムは、全データセットのサイズに依存しない小さなランダムサンプルのみを必要とし、大規模応用へのスケーラビリティを実現する。