[論文レビュー] Meaningful Clustered Forest: an Automatic and Robust Clustering Algorithm

Mariano Tepper, Pablo Musé+1 more|arXiv (Cornell University)|Apr 4, 2011

Data Management and Algorithms参考文献 22被引用数 4

ひとこと要約

本稿では、最小全域木（MST）におけるエッジ長統計とa contrario検出基準を用いて、クラスタを検出する、ロバストで自動的なクラスタリング手法である意味的クラスタードフォレスト（MCF）を提案する。この手法は、期待される誤検出数を制御する直感的なパラメータを唯一必要とし、任意の形状のクラスタ、ノイズ、マスキング効果に対しても効果的に対処できる。

ABSTRACT

We propose a new clustering technique that can be regarded as a numerical method to compute the proximity gestalt. The method analyzes edge length statistics in the MST of the dataset and provides an a contrario cluster detection criterion. The approach is fully parametric on the chosen distance and can detect arbitrarily shaped clusters. The method is also automatic, in the sense that only a single parameter is left to the user. This parameter has an intuitive interpretation as it controls the expected number of false detections. We show that the iterative application of our method can (1) provide robustness to noise and (2) solve a masking phenomenon in which a highly populated and salient cluster dominates the scene and inhibits the detection of less-populated, but still salient, clusters.

研究の動機と目的

• 最小全域木（MST）の構造的性質を活用することで、人間の知覚的グループ化、特に近接性のゲシュタルトに整合するクラスタリング手法の開発。
• ランダムな初期化や探索順序に依存しないようにすることで、決定論的かつ安定したクラスタリング結果を実現。
• 支配的で高密度のクラスタが、より小さなが顕著なクラスタを隠してしまうマスキング現象の解決。
• 期待される誤検出数を制御する単一の解釈可能なパラメータを有する、完全に自動化されたクラスタリングアプローチの提供。
• a contrarioフレームワークを用いてクラスタの意味的有意性の理論的基盤を確立し、統計的信頼性を保証。

提案手法

• 本手法は、最小間隔距離 $d_m$ を用いてデータセットの最小全域木（MST）を構築し、人間の知覚的グループ化原理と整合させる。
• MSTにおけるエッジ長統計に基づくa contrario検出基準を適用し、偶然に発生する可能性が極めて低いクラスタを同定する。
• 有意性の閾値パラメータ $\varepsilon$ を用い、期待される誤検出クラスタ数を制御する。
• クラスタは、MSTにおけるエッジの除去によって得られる成分が、帰無背景モデルのもとで予想されるよりも著しくコンパクトである場合に検出される。
• 反復的にクラスタリングを適用することで、ノイズに対するロバスト性を向上させるとともに、大きなクラスタを事前に除去することで、より小さな顕著なクラスタを検出可能にし、マスキング効果を緩和する。
• 期待値の上限としての理論的裏付けが提供され、ランダムなシングルリンク階層における $\varepsilon$-意味的クラスタの期待数は $\varepsilon$ よりも厳密に小さいため、誤検出に対する統計的制御が保証される。

実験結果

リサーチクエスチョン

• RQ1 期待される誤検出数を制御する単一の直感的なパラメータを有する、完全に自動化されたクラスタリングアルゴリズムを設計可能か？
• RQ2 人間の知覚における近接性のゲシュタルトを、MSTのようなグラフ理論的構造を用いて数値的なクラスタリング基準として形式化できるか？
• RQ3 a contrarioフレームワークを非パラメトリックでデータ駆動的な方法として、統計的に有意義なクラスタを効果的に検出可能か？
• RQ4 支配的クラスタが小さな顕著なクラスタの検出を遮断するマスキング効果を、クラスタリング手法でどのように緩和できるか？
• RQ5 提案手法は、ノイズやパラメータ感度に対してロバストでありながら、任意の形状のクラスタをどの程度正確に検出可能か？

主な発見

• 帰無背景モデルのもとで、ランダムなシングルリンク階層における $\varepsilon$-意味的クラスタの期待検出数は $\varepsilon$ よりも厳密に小さいため、誤検出に対する統計的制御が保証される。
• MSTにおけるエッジ長統計に依存することで、球形や凸形状を仮定しないまま、任意の形状のクラスタを効果的に検出可能である。
• 反復的適用により、ノイズに対するロバスト性が向上し、マスキング現象が緩和され、そうでなければ隠れてしまうような小さな顕著なクラスタの検出が可能になる。
• アルゴリズムは完全に決定論的であり、探索順序に依存しない。Zahnの知覚的クラスタリングの概念的基準を満たす。
• ヒューリスティック的または恣意的なクラスタ評価手法に代わり、a contrarioフレームワークに基づく原理的で統計的な基準を導入することで、信頼性と解釈可能性が向上する。
• 理論的分析により、本手法が安定性および収束性の性質を維持していることが確認され、最近のシングルリンク階層の安定性に関する研究結果とも整合する。