[論文レビュー] Active Clustering: Robust and Efficient Hierarchical Clustering using Adaptively Selected Similarities

Brian Eriksson, Gautam Dasarathy+2 more|arXiv (Cornell University)|Feb 18, 2011

Advanced Clustering Algorithms Research参考文献 23被引用数 37

ひとこと要約

本稿では、O(N log²N)の類似度のみを用いて、従来の方法が要請するO(N²)と比べてはるかに少ない類似度で、ロバストで効率的な階層的クラスタリングを達成する、能動的クラスタリング手法を提案する。タイトクラスタリング条件と適応的類似度選択を活用することで、ノイズや異常な類似度値が存在する状況でも、高い確率で正しいクラスタリングを保証する。

ABSTRACT

Hierarchical clustering based on pairwise similarities is a common tool used in a broad range of scientific applications. However, in many problems it may be expensive to obtain or compute similarities between the items to be clustered. This paper investigates the hierarchical clustering of N items based on a small subset of pairwise similarities, significantly less than the complete set of N(N-1)/2 similarities. First, we show that if the intracluster similarities exceed intercluster similarities, then it is possible to correctly determine the hierarchical clustering from as few as 3N log N similarities. We demonstrate this order of magnitude savings in the number of pairwise similarities necessitates sequentially selecting which similarities to obtain in an adaptive fashion, rather than picking them at random. We then propose an active clustering method that is robust to a limited fraction of anomalous similarities, and show how even in the presence of these noisy similarity values we can resolve the hierarchical clustering using only O(N log^2 N) pairwise similarities.

研究の動機と目的

• 完全なN(N−1)/2組の類似度ではなく、はるかに少ない類似度で階層的クラスタリングを実現すること。
• 類似度値の一部が異常または信頼できない場合のロバスト性を確保すること。
• ランダムな類似度選択ではなく、適応的選択に基づくクラスタリング精度に関する理論的保証を提供すること。
• ネットワークトポロジー推定や遺伝子発現解析などの類似度集約型アプリケーションにおける計算コストとリソースコストの低減すること。

提案手法

• 階層的構造と一貫性チェックに基づき、適応的にペアワイズ類似度を選択する能動的クラスタリングフレームワークを提案する。
• 2段階のボーリングメカニズムを採用：最初に一貫性のある類似度を特定し、次に合意ボーリングにより部分クラスタ所属を解消する。
• 外れ値数と合意割合にしきい値を適用し、高い確率でクラスタ所属を決定する。
• Hoeffdingの不等式を用いて誤差確率を抑え、信頼性のあるクラスタリングに必要なサンプル複雑度要件を導出する。
• 適応的類似度クエリに基づき、再帰的分割手順を適用し、木の深さを制限する。
• バランス要因ηを用いて木の深さを制限し、タイトクラスタリング条件の下で、合計類似度複雑度をO(N log²N)として導出する。

実験結果

リサーチクエスチョン

• RQ1 O(N²)よりもはるかに少ない類似度で階層的クラスタリングを正確に回復できるか？
• RQ2 タイトクラスタリング条件の下で、O(N log²N)の適応的類似度クエリのみで信頼性のあるクラスタリングが達成可能か？
• RQ3 類似度の一部が破損または一貫性のない場合、この手法はどのようにしてロバスト性を保つのか？
• RQ4 ノイズのある類似度入力の下で、クラスタリングの成功確率に関する理論的保証はどのように提供できるか？
• RQ5 この手法は任意のクラスタ形状や非一様類似度分布に対応可能か？

主な発見

• タイトクラスタリング条件の下で、本手法は3N log N組のペアワイズ類似度のみで正しい階層的クラスタリングを達成する。
• O(N log²N)の能動的選択類似度を用いることで、類似度の一部がノイズや異常値である場合でも、高い確率で真のクラスタリングを回復する。
• 理論的境界から、ノードごとにm = O(log N)の合意アイテムがあれば、信頼性のある部分クラスタ解像が十分であることが示された。
• 本アルゴリズムは類似度値の単調変換に対してロバストであるため、主観的またはキャリブレーション済み類似度データに適している。
• 必要な類似度総数はO(N log²N)で抑えられ、類似度クエリのΩ(N)下界を考慮すると、これはほぼ最適である。
• 本手法は合成データおよび実世界のデータセットにおいて高い正確性を維持し、スケーラビリティとロバスト性を示した。