[論文レビュー] Sanity Check for External Clustering Validation Benchmarks using Internal Validation Measures

Hyeon Jeon, Michaël Aupetit+4 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Clustering Algorithms Research被引用数 6

ひとこと要約

本稿では、Calinski-Harabasz指数から導出された一般化されたデータセット間内部評価指標であるCH₋twnを用いて、ベンチマークデータセット間におけるクラスタラベルマッチング（CLM）を評価・比較する原理的で一貫性のある手法を提案する。この手法は、データセット間比較のための4つの新しい公理を満たし、既存の手法よりも精度と速度の両面で優れており、CLMの質が著しく高いデータセットを特定することで、信頼性の高い外部クラスタリング評価を可能にする。

ABSTRACT

We address the lack of reliability in benchmarking clustering techniques based on labeled datasets. A standard scheme in external clustering validation is to use class labels as ground truth clusters, based on the assumption that each class forms a single, clearly separated cluster. However, as such cluster-label matching (CLM) assumption often breaks, the lack of conducting a sanity check for the CLM of benchmark datasets casts doubt on the validity of external validations. Still, evaluating the degree of CLM is challenging. For example, internal clustering validation measures can be used to quantify CLM within the same dataset to evaluate its different clusterings but are not designed to compare clusterings of different datasets. In this work, we propose a principled way to generate between-dataset internal measures that enable the comparison of CLM across datasets. We first determine four axioms for between-dataset internal measures, complementing Ackerman and Ben-David's within-dataset axioms. We then propose processes to generalize internal measures to fulfill these new axioms, and use them to extend the widely used Calinski-Harabasz index for between-dataset CLM evaluation. Through quantitative experiments, we (1) verify the validity and necessity of the generalization processes and (2) show that the proposed between-dataset Calinski-Harabasz index accurately evaluates CLM across datasets. Finally, we demonstrate the importance of evaluating CLM of benchmark datasets before conducting external validation.

研究の動機と目的

• ベンチマークデータセットのクラスタラベルマッチング（CLM）の質が低い場合に生じる外部クラスタリング評価の信頼性の欠如を是正すること。
• サイズ、次元、クラス分布が異なるデータセット間でのCLMを比較可能な、原理的で公理的フレームワークを構築すること。
• 計算効率が高く、精度に優れた指標を設計し、内部評価をデータセット間のCLM評価に一般化すること。
• 外部評価指標を用いたクラスタリング手法の順位付けの安定性と信頼性が、CLMの質に著しく影響を受けることを実証すること。
• 外部評価を実施する前にベンチマークデータセットの信頼性をチェックするためのサニティーチェックを提供し、クラスタリング研究の信頼性を向上させること。

提案手法

• データセット間内部評価指標（IVM btwn）の公平かつ一貫性のあるCLM比較を保証するため、4つの新しい公理を提唱する。
• 提案された公理を満たすように、Calinski-Harabasz指数を一般化してCH₋twnを構築する。
• 正規化や距離スケーリングなどの技術的変換を用いて、データ内内部評価指標をデータセット間の対応する指標に変換し、公理的性質を保持する。
• 96個のベンチマークデータセットを用いた定量的実験を通じて、一般化プロセスの妥当性を検証する。
• CH₋twnによる順位付けを通じて、外部評価に最も信頼できるベンチマークを特定し、クラスタリング手法の順位の安定性を代理指標として用いる。
• CH₋twnが1データセットあたり数秒で実行可能であり、真のラベルを最適化するクラスタリング手法の最適化に数時間かかるのと比較して、顕著な計算効率の優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 異なる特徴を持つデータセット間でのクラスタラベルマッチング（CLM）の公平かつ一貫性のある比較を保証する公理の集合を定義できるか？
• RQ2 内部評価指標をどのように一般化すれば、単一データセット内ではなく、異なるデータセット間でのCLM評価が可能になるか？
• RQ3 提案されたデータセット間Calinski-Harabasz指数（CH₋twn）は、CLMの質に基づくデータセット順位付けにおいて、既存の手法を上回る正確性を示すか？
• RQ4 CLMの質が、外部評価指標を用いたクラスタリング手法の順位付けの安定性と信頼性にどの程度影響を及えるか？
• RQ5 CH₋twnは、外部クラスタリング評価のための信頼できるベンチマークデータセットを素早く特定するための、信頼性の高いサニティーチェックとして利用可能か？

主な発見

• CH₋twnは96個のベンチマークデータセットにおけるCLMの評価と順位付けにおいて、すべての競合手法を著しく上回り、標準Calinski-Harabasz指数と比較して20%の性能向上を達成した。
• 提案手法により、CH₋twnで高い順位が付けられたデータセットに限定して適用した場合にのみ、クラスタリング手法の順位付けが安定的かつ信頼できることが確認され、信頼できるベンチマークを特定する役割を果たしていることが裏付けられた。
• クラスタリング手法の順位のペアワイズ安定性は、CH₋twnで上位20位のデータセットでのみ高い水準を示したが、下位20位のデータセットでは順位付けが不安定かつ恣意的であった。これは、本手法の有効性を裏付けるものである。
• CH₋twnは1データセットあたり数秒で実行可能である一方で、真のラベルを最適化するクラスタリング手法の最適化には数時間かかるため、大幅な計算効率の優位性が示された。
• SpambaseやHepatitisなど、広く使われてきたがCLMの質が低いデータセットが、かつてはサニティーチェックなしに外部評価に使用されており、これにより過去の研究結果の信頼性が損なわれていた。
• 本研究では、CLMが低いデータセットでは外部評価指標（EVM）のスコアが誤解を招く結果を生じることが判明し、クラスタリングアルゴリズムの性能にかかわらず、外部評価が信頼できないことが明らかになった。