[論文レビュー] An Improved Cost Function for Hierarchical Cluster Trees

Dingkang Wang, Yusu Wang|arXiv (Cornell University)|Dec 6, 2018

Advanced Clustering Algorithms Research参考文献 6被引用数 8

ひとこと要約

本稿では、類似度グラフの固有の階層構造をよりよく反映する階層的クラスタリング木のための新しいコスト関数を提案する。Dasguptaの元々のコスト関数とは異なり、グラフが「完全なHC構造」を持つ場合に限り、最適コストが正確に1となるように設計されており、解釈性が明確になり、このような構造を持つグラフでは多項式時間で最適化が可能になる。

ABSTRACT

Hierarchical clustering has been a popular method in various data analysis applications. It partitions a data set into a hierarchical collection of clusters, and can provide a global view of (cluster) structure behind data across different granularity levels. A hierarchical clustering (HC) of a data set can be naturally represented by a tree, called a HC-tree, where leaves correspond to input data and subtrees rooted at internal nodes correspond to clusters. Many hierarchical clustering algorithms used in practice are developed in a procedure manner. Dasgupta proposed to study the hierarchical clustering problem from an optimization point of view, and introduced an intuitive cost function for similarity-based hierarchical clustering with nice properties as well as natural approximation algorithms. We observe that while Dasgupta's cost function is effective at differentiating a good HC-tree from a bad one for a fixed graph, the value of this cost function does not reflect how well an input similarity graph is consistent to a hierarchical structure. In this paper, we present a new cost function, which is developed based on Dasgupta's cost function, to address this issue. The optimal tree under the new cost function remains the same as the one under Dasgupta's cost function. However, the value of our cost function is more meaningful. The new way of formulating the cost function also leads to a polynomial time algorithm to compute the optimal cluster tree when the input graph has a perfect HC-structure, or an approximation algorithm when the input graph 'almost' has a perfect HC-structure. Finally, we provide further understanding of the new cost function by studying its behavior for random graphs sampled from an edge probability matrix.

研究の動機と目的

• Dasguptaのコスト関数の限界、すなわちグラフが階層的構造を内蔵しているかどうかを反映しないことへの対処。
• 階層的クラスタリング木の最適性に対してより解釈可能で意味のある値を割り当てるコスト関数の開発。
• 新しいコスト関数における最適木がDasguptaの関数における最適木と同一のままであるように保証し、望ましい構造的性質を維持すること。
• 入力グラフが完全な階層的構造を持つ場合に、最適木を多項式時間で計算可能にする。
• エッジ確率行列から生成されたランダムグラフにおけるコスト関数の挙動を分析する理論的枠組みの提供。

提案手法

• 新しいコスト関数は、Dasguptaの元々のコスト関数の正規化された変種として導出され、構造的一致性を反映するようにスケーリングされている。
• 最適コストが正確に1である条件は、入力グラフがすべての三重項関係と整合する階層的クラスタリング木を許容する場合に限る。
• この手法は、グラフのエッジ確率分布に従うランダム木の期待コストを捉えるベースコスト関数 baseC(G) を導入する。
• ratio-cost関数 ρ*G = totalC(T*) / baseC(G) が定義され、最適木の総コストを期待ベースコストに対して正規化する。
• 理論的分析では集中不等式を用いて、ratio-costがその期待値からどれほど逸脱するかを制限し、確率的保証を確立する。
• アルゴリズム的側面では、新しいコスト関数を活用し、完全なHC構造を持つグラフに対して多項式時間アルゴリズムを設計し、ほぼ完全な場合に対しては近似アルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 最適値が、類似度グラフに完全な階層的構造が存在するかどうかを直接示すようなコスト関数を設計できるか？
• RQ2 コスト関数をどのように正規化すれば、階層的クラスタリングの品質に対するより解釈可能なスケールが得られるか？
• RQ3 どのような条件下で、新しいコスト関数を用いて最適な階層的クラスタリング木を多項式時間で計算できるか？
• RQ4 与えられたエッジ確率行列から抽出されたランダムグラフにおいて、新しいコスト関数はどのように振る舞うか？
• RQ5 新しいコスト関数は、完全ではないがほぼ階層的構造を示すグラフに対しても近似アルゴリズムをサポートできるか？

主な発見

• 新しいコスト関数の最適コストが正確に1であるのは、入力グラフが完全な階層的クラスタリング（HC）構造、すなわちすべての三重項関係と整合するHC木が存在する場合に限る。
• 完全なHC構造を持つグラフに対しては、新しいコスト関数を用いて最適木を多項式時間で計算可能である。
• 入力グラフがほぼ完全なHC構造である場合、本手法は最適木の近似アルゴリズムを提供する。
• エッジ確率行列から生成されたランダムグラフにおいて、ratio-cost ρ*G はすべてのエッジの確率が p のとき、(1+o(1)) · 2 / (3p − p²) に収束する。
• ratio-cost ρ*G は内部クラスタ内エッジ確率 p が高くなるにつれて減少し、高い内部類似度が階層的信号を強化していることを示している。
• 偏微分解析により、p を増加させると ρ*G が減少することが示され、一方 q（クラスタ間エッジ確率）はより複雑で単調でない影響を示し、q = p/3 に臨界点が存在することが判明した。