[論文レビュー] Beyond Hartigan Consistency: Merge Distortion Metric for Hierarchical Clustering

Justin Eldridge, Mikhail A. Belkin+1 more|arXiv (Cornell University)|Jun 21, 2015

Topological and Geometric Data Analysis参考文献 14被引用数 22

ひとこと要約

本稿では、ハーティガン一貫性を超える収束を測る新しい距離測度であるマージ歪み尺度を導入する。この尺度により収束が成立する場合、過剰分割や不適切なネストを防ぐ2つの望ましい性質—分離性と最小性—が保証され、多様体上でのロバスト単一連結法およびスプリットツリークラスタリングの収束が証明される。

ABSTRACT

Hierarchical clustering is a popular method for analyzing data which associates a tree to a dataset. Hartigan consistency has been used extensively as a framework to analyze such clustering algorithms from a statistical point of view. Still, as we show in the paper, a tree which is Hartigan consistent with a given density can look very different than the correct limit tree. Specifically, Hartigan consistency permits two types of undesirable configurations which we term over-segmentation and improper nesting. Moreover, Hartigan consistency is a limit property and does not directly quantify difference between trees. In this paper we identify two limit properties, separation and minimality, which address both over-segmentation and improper nesting and together imply (but are not implied by) Hartigan consistency. We proceed to introduce a merge distortion metric between hierarchical clusterings and show that convergence in our distance implies both separation and minimality. We also prove that uniform separation and minimality imply convergence in the merge distortion metric. Furthermore, we show that our merge distortion metric is stable under perturbations of the density. Finally, we demonstrate applicability of these concepts by proving convergence results for two clustering algorithms. First, we show convergence (and hence separation and minimality) of the recent robust single linkage algorithm of Chaudhuri and Dasgupta (2010). Second, we provide convergence results on manifolds for topological split tree clustering.

研究の動機と目的

• ハーティガン一貫性の限界を是正すること。ハーティガン一貫性は、過剰分割や不適切なネストを防げない。
• 過剰な木構造を排除しつつハーティガン一貫性を保証する新たな収束性—分離性と最小性—を定義すること。
• 意味のあるクラスタリング木の収束を捉える、定量的かつ安定な尺度—マージ歪み—を導入すること。
• マージ歪み尺度における収束が分離性と最小性を含意すること、および一様条件下で逆に成り立つことを証明すること。
• 2つの実用的アルゴリズム—ロバスト単一連結法とトポロジカルスプリットツリークラスタリング—がリーマン多様体上で収束することを検証すること。

提案手法

• マージイベントの歪みに基づき、階層的クラスタリング木間の距離としてマージ歪み尺度を提案する。
• 分離性を、クラスタが過剰に早くマージされない性質として定義し、最小性を不要なマージが存在しないこととして定義する。
• 密度関数のリプシッツ連続性と経験的密度推定を用いて、近接グラフおよび下位集合における近似誤差を制御する。
• 計算トポロジーの結果を応用し、近接グラフおよび経験的密度のレベル集合を用いてスプリットクラスタ木を構築する。
• マージ歪み尺度における収束が分離性と最小性を含意することを証明し、一様な分離性と最小性が尺度収束を含意することを示す。
• 集中不等式と幾何的議論を用いて、密度関数の小さな摂動に対しても尺度の安定性を示す。

実験結果

リサーチクエスチョン

• RQ1 ハーティガン一貫性のみで、階層的クラスタリング木が真の密度構造を過剰分割や不適切なネストを伴わずに正しく反映できるか？
• RQ2 ハーティガン一貫性を満たしても不適切な木構造を排除するために、どのような追加的性質が必要か？
• RQ3 意味のある階層的クラスタリング木の収束を捉える定量的尺度が存在するか？ その尺度が分離性と最小性を含意するか？
• RQ4 マージ歪み尺度を用いて、ロバスト単一連結法やスプリットツリークラスタリングといった実用的アルゴリズムの収束を証明できるか？
• RQ5 マージ歪み尺度は、密度関数の小さな摂動に対しても安定か？

主な発見

• マージ歪み尺度における収束は、分離性と最小性を含意する。両者を併せ持つことで、過剰分割や不適切なネストが排除される。
• 一様な分離性と最小性は、マージ歪み尺度における収束と同値である。
• チャウドヒリとダスガプタ（2010）のロバスト単一連結法は、マージ歪み尺度において真の密度クラスタ木に収束する。
• リーマン多様体上でのスプリットツリークラスタリング法は、標本サイズが増加するにつれて、高密度クラスタ木に高確率で収束する。
• マージ歪み尺度は、密度関数の小さな摂動に対しても安定であり、推定誤差に対してロバストであることが保証される。
• 任意の ε > 0 に対して、パラメータ r = 2ε を用いて構築されたスプリットクラスタ木は、n → ∞ のとき、d(C_f, Ĉ_f,n) ≤ (4c + 1)ε が確率 1 で成立する。