[論文レビュー] The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms

Xin Han, Ye Zhu+2 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Clustering Algorithms Research被引用数 4

ひとこと要約

本稿では、密度に依存する局所的密度に適応するデータ依存型カーネル「隔離カーネル（Isolation Kernel）」を、階層的凝集型クラスタリング（AHC）における距離に基づく連結法に導入することで、密度のばらつきがあるクラスタを含むデータセットにおいて、従来のAHCが高密度クラスタを優先して結合するバイアスを是正することを提案する。実験的評価により、隔離カーネルは距離、ガウスカーネル、および適応的ガウスカーネルと比較して、複数のAHCアルゴリズムにおいて顕著にデンドログラムの純度を向上させることを示している。

ABSTRACT

Agglomerative hierarchical clustering (AHC) is one of the popular clustering approaches. Existing AHC methods, which are based on a distance measure, have one key issue: it has difficulty in identifying adjacent clusters with varied densities, regardless of the cluster extraction methods applied on the resultant dendrogram. In this paper, we identify the root cause of this issue and show that the use of a data-dependent kernel (instead of distance or existing kernel) provides an effective means to address it. We analyse the condition under which existing AHC methods fail to extract clusters effectively; and the reason why the data-dependent kernel is an effective remedy. This leads to a new approach to kernerlise existing hierarchical clustering algorithms such as existing traditional AHC algorithms, HDBSCAN, GDL and PHA. In each of these algorithms, our empirical evaluation shows that a recently introduced Isolation Kernel produces a higher quality or purer dendrogram than distance, Gaussian Kernel and adaptive Gaussian Kernel.

研究の動機と目的

• 密度のばらつきがあるクラスタを扱う際、従来の凝集型階層的クラスタリング（T-AHC）が性能を発揮できない根本的要因を同定し、形式的に分析すること。
• T-AHCにおけるバイアス（高密度領域の早期結合を優遇する性質）が、データに依存しない距離またはカーネル測定の使用に起因することを示すこと。
• 既存のAHCアルゴリズムのコア連結関数を変更せずに、距離の代わりに隔離カーネルを統合可能な汎用的で即時適用可能なソリューションを提案すること。
• 隔離カーネルが距離、ガウスカーネル、適応的ガウスカーネルと比較して、複数のAHCアルゴリズムにおいてデンドログラム純度をどのように向上させるかを評価すること。
• デンドログラム純度と強く相関する形式的指標（絡み具合の数と平均絡み具合レベル）を確立し、クラスタリング品質の客観的評価を可能にすること。

提案手法

• デンドログラムにおけるクロスクラスタ結合の深刻さを定量化するため、「絡み具合（entanglement）」の概念を導入し、異なる真のクラスタに属する点を含む部分木として定義する。
• 絡み具合の2つの指標（絡み具合の数と平均絡み具合レベル）を定義し、これらがデンドログラム純度と強く相関することを示した。
• 局所的密度に適応するデータ依存型カーネルとして、隔離カーネルを提案し、高密度クラスタの過剰な早期結合を低減する。
• 単一結合AHC、完全結合AHC、HDBSCAN、GDL、PHAの4つの既存AHCアルゴリズムにおいて、距離の代わりに隔離カーネルを統合し、コアアルゴリズムの変更なしに適用した。
• 公平な複雑度比較のため、すべての手法で同じ入力として距離行列を用い、計算コストの評価を一貫して行った。
• F1スコアの性能差の統計的有意性を評価するため、Friedman検定に続く事後多重比較（Nemenyi検定）を実施した。

実験結果

リサーチクエスチョン

• RQ1 密度のばらつきがあるクラスタを扱う際、従来のAHCが真のクラスタを効果的に抽出できない正式な条件は何か？
• RQ2 なぜデータに依存しない距離またはカーネル測定の使用が、AHCにおける高密度クラスタの優先的結合というバイアスを生じるのか？
• RQ3 データに依存するカーネルとしての隔離カーネルは、AHCアルゴリズムにおける密度バイアスをどのように軽減するのか？
• RQ4 距離を隔離カーネルに置き換えることで、複数のAHCアルゴリズムにおいてデンドログラム純度はどの程度向上するのか？
• RQ5 絡み具合指標（数と平均レベル）は、客観的指標としてデンドログラム純度と統計的に相関しているか？

主な発見

• 隔離カーネルは、全テスト済みAHCアルゴリズムにおいて、距離、ガウスカーネル、適応的ガウスカーネルと比較して、顕著にデンドログラム純度を向上させた。
• 事後多重比較（Nemenyi検定）の結果、有意水準α=0.10において、隔離カーネルは他のすべての測定法よりも統計的に優れており、他のカーネル間には有意差が認められなかった。
• 絡み具合の数と平均絡み具合レベルは、デンドログラム純度と強く相関しており、クラスタリング品質の診断指標としての有効性が裏付けられた。
• 隔離カーネルの実行時間は、そのアンサンブル構造のため他のカーネルよりわずかに長くはなっているが、GPU並列化が可能であり、性能上の懸念は軽減される。
• 提案手法は汎用的である：既存のAHCアルゴリズムの連結関数やアルゴリズム構造を変更せずに、距離を隔離カーネルに置き換えることでクラスタリング品質が向上する。
• 実験的結果により、隔離カーネルは4つの実世界データセット（WDBC、Banknote、Segment、Spam）において、全アルゴリズムでF1スコアの改善が一貫して確認され、既存のカーネルを上回ることが実証された。