[논문 리뷰] Sanity Check for External Clustering Validation Benchmarks using Internal Validation Measures

Hyeon Jeon, Michaël Aupetit외 4명|arXiv (Cornell University)|2022. 09. 20.

Advanced Clustering Algorithms Research인용 수 6

한 줄 요약

이 논문은 일반화된 데이터 간 내부 검증 측정법인 CH₋twn를 유도한 Calinski-Harabasz 지표에서 유래하여, 벤치마크 데이터셋 간 클러스터 레이블 매칭(CL M)을 평가하고 비교하기 위한 원칙적인 방법을 제안한다. 이 방법은 데이터셋 간 비교 가능성을 보장하기 위한 네 가지 새로운 공리들을 만족하며, 정확성과 속도 면에서 기존 방법들을 능가하여 외부 클러스터링 검증의 신뢰성을 높이는 데 기여한다. 이는 내재된 CLM 품질이 높은 데이터셋을 식별함으로써 실현된다.

ABSTRACT

We address the lack of reliability in benchmarking clustering techniques based on labeled datasets. A standard scheme in external clustering validation is to use class labels as ground truth clusters, based on the assumption that each class forms a single, clearly separated cluster. However, as such cluster-label matching (CLM) assumption often breaks, the lack of conducting a sanity check for the CLM of benchmark datasets casts doubt on the validity of external validations. Still, evaluating the degree of CLM is challenging. For example, internal clustering validation measures can be used to quantify CLM within the same dataset to evaluate its different clusterings but are not designed to compare clusterings of different datasets. In this work, we propose a principled way to generate between-dataset internal measures that enable the comparison of CLM across datasets. We first determine four axioms for between-dataset internal measures, complementing Ackerman and Ben-David's within-dataset axioms. We then propose processes to generalize internal measures to fulfill these new axioms, and use them to extend the widely used Calinski-Harabasz index for between-dataset CLM evaluation. Through quantitative experiments, we (1) verify the validity and necessity of the generalization processes and (2) show that the proposed between-dataset Calinski-Harabasz index accurately evaluates CLM across datasets. Finally, we demonstrate the importance of evaluating CLM of benchmark datasets before conducting external validation.

연구 동기 및 목표

• 벤치마크 데이터셋의 클러스터 레이블 매칭(C LM) 품질이 열 劣할 경우 외부 클러스터링 검증이 신뢰할 수 없게 되는 문제를 해결하기 위해.
• 크기, 차원 수, 클래스 분포가 다른 데이터셋 간 CLM을 비교하기 위한 원칙적이고 공리 기반의 프레임워크를 개발하기 위해.
• 계산 효율성이 뛰어나고 정확도가 높은 측정법을 개발하여 내부 검증을 일반화함으로써 데이터셋 간 CLM 평가를 가능하게 하기 위해.
• 외부 검증 측정법을 사용할 때 CLM 품질이 클러스터링 기법 순위의 안정성과 신뢰성에 미치는 영향을 입증하기 위해.
• 외부 검증을 수행하기 전에 벤치마크 데이터셋에 대한 사전 점검을 제공하여 클러스터링 연구의 신뢰성을 향상시키기 위해.

제안 방법

• 다양한 특성을 가진 데이터셋 간 CLM 비교의 공정성과 일관성을 확보하기 위해 데이터 간 내부 검증 측정법(IVM btwn)에 대한 네 가지 새로운 공리들을 제안한다.
• 제안된 공리를 만족시키며, 서로 다른 데이터셋 간 CLM을 평가할 수 있도록 Calinski-Harabasz 지표를 일반화하여 CH₋twn를 도입한다.
• 정규화 및 거리 스케일링과 같은 기술적 변환을 통해 내부 데이터셋 IVM을 데이터 간 대응 측정법으로 변환하면서 공리적 성질을 유지한다.
• 96개의 벤치마크 데이터셋에서 표준 IVM 및 EVM과의 비교를 통해 정량적 실험을 수행하여 일반화 과정의 타당성을 검증한다.
• CH₋twn 기반 순위를 통해 외부 검증에 가장 신뢰할 수 있는 기준이 되는 데이터셋을 식별하기 위해 클러스터링 기법 순위의 안정성을 지표로 사용한다.
• CH₋twn가 각 데이터셋당 수십 초 내로 실행되며, 진정한 레이블을 최적화하는 데 몇 시간이 소요되는 것과 비교해도 훨씬 빠르다는 점을 입증한다.

실험 결과

연구 질문

• RQ1 크기가 다르고 특성이 다른 데이터셋 간 클러스터 레이블 매칭(CL M) 비교의 공정성과 일관성을 보장하기 위해 공리 집합을 정의할 수 있는가?
• RQ2 내부 검증 측정법을 어떻게 일반화하여 단일 데이터셋 내가 아닌 서로 다른 데이터셋 간 CLM을 평가할 수 있는가?
• RQ3 제안된 데이터 간 Calinski-Harabasz 지표(CH₋twn)가 기존 방법보다 CLM 품질 기반으로 데이터셋 순위를 정확히 매기는 데 뛰어나다고 할 수 있는가?
• RQ4 CLM 품질이 외부 검증 측정법을 사용한 클러스터링 기법 순위의 안정성과 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ5 CH₋twn는 외부 클러스터링 평가를 위한 신뢰할 수 있는 벤치마크 데이터셋을 신속하고 안정적으로 식별하는 데 유용한 사전 점검 도구로 사용될 수 있는가?

주요 결과

• CH₋twn는 96개의 벤치마크 데이터셋에서 CLM 평가 및 순위 매기기에 있어 모든 경쟁자들을 압도적으로 능가하며, 표준 Calinski-Harabasz 지표 대비 20%의 성능 향상을 달성한다.
• 제안된 방법을 CH₋twn로 높은 순위를 받은 데이터셋에 적용했을 때에만 클러스터링 기법 순위가 안정적이고 신뢰할 수 있었으며, 이는 이 방법이 믿을 만한 기준 데이터셋을 식별하는 데 기여한다는 것을 확인한다.
• CH₋twn 기반 상위 20개 데이터셋에서는 클러스터링 기법 간 순위 안정성이 높은 반면, 하위 20개 데이터셋에서는 순위가 불안정하고 임의적이었으며, 이는 본 방법의 효과성을 검증한다.
• CH₋twn는 각 데이터셋당 수십 초 내로 실행되며, 진정한 레이블을 최적화하는 데는 몇 시간이 소요되므로, 근본적인 효율성 우위를 입증한다.
• 이전에 신뢰할 수 없는 사전 점검 없이도 외부 검증에 널리 사용된 데이터셋들(예: Spambase, Hepatitis) 중 대부분은 낮은 CLM 품질을 지닌 것으로 밝혀져, 이전 연구 결과의 신뢰성을 훼손시켰다.
• 본 연구는 낮은 CLM을 가진 데이터셋이 외부 검증 측정법(EVM) 점수를 오해의 소지가 있는 방식으로 산출할 수 있으며, 이는 클러스터링 알고리즘 성능과는 무관하게 외부 검증의 신뢰성을 해칠 수 있음을 드러냈다.