[논문 리뷰] Systematic Analysis of Cluster Similarity Indices: How to Validate Validation Measures

Martijn Gösgens, Alexey Tikhonov외 1명|arXiv (Cornell University)|2019. 11. 12.

Complex Network Analysis Techniques참고 문헌 25인용 수 9

한 줄 요약

이 논문은 일관된 기준과 단조성과 같은 바람직한 성질을 정의하고 분석하여 군집 유사도 지표를 평가하고 선택하기 위한 엄밀한 이론적 프레임워크를 제안한다. 이를 통해 상수 기준값과 단조성 조건을 모두 만족하는 유일한 지표로 상관계수와 소칼 및 스내의 첫 번째 지표를 규명하였으며, 실무에서 널리 사용되는 NMI 및 AMI와 같은 인기 지표들이 실제로 편향되고 일관성 없음을 입증함으로써 광범위한 사용을 도전한다.

ABSTRACT

Many cluster similarity indices are used to evaluate clustering algorithms, and choosing the best one for a particular task remains an open problem. We demonstrate that this problem is crucial: there are many disagreements among the indices, these disagreements do affect which algorithms are preferred in applications, and this can lead to degraded performance in real-world systems. We propose a theoretical framework to tackle this problem: we develop a list of desirable properties and conduct an extensive theoretical analysis to verify which indices satisfy them. This allows for making an informed choice: given a particular application, one can first select properties that are desirable for the task and then identify indices satisfying these. Our work unifies and considerably extends existing attempts at analyzing cluster similarity indices: we introduce new properties, formalize existing ones, and mathematically prove or disprove each property for an extensive list of validation indices. This broader and more rigorous approach leads to recommendations that considerably differ from how validation indices are currently being chosen by practitioners. Some of the most popular indices are even shown to be dominated by previously overlooked ones.

연구 동기 및 목표

• 군집 유사도 지표 간 성능 순위의 일관성 결여 문제를 해결하여 실세계 시스템 성능 저하를 방지하기 위해.
• 특히 상수 기준값과 단조성과 같은 바람직한 이론적 성질을 식별하고 체계화하기 위해.
• 응용 분야의 특수 요구사항에 맞게 가장 적절한 검증 지표를 선택하는 원칙적인, 이론 기반의 방법론을 제공하기 위해.
• NMI 및 AMI와 같은 널리 사용되는 지표들의 지배적 지위를 도전하기 위해, 이들의 이론적 결함과 편향을 입증하기 위해.
• 이전의 경험적 분석을 통합하고 확장하여 쌍-카운팅 및 상관계수 기반 지표를 포함한 광범위한 지표 집합에 대해 공식적인 수학적 증명을 제공하기 위해.

제안 방법

• 상수 기준값, 단조성, 대칭성과 같은 12개의 핵심 성질을 체계화하여 이론적 검증 기준으로 삼기 위해.
• 14개의 널리 사용되는 군집 유사도 지표에 대해 각 성질이 수학적으로 증명되거나 반증될 수 있도록 체계적인 이론적 분석을 수행하기 위해.
• 쌍-카운팅 지표에 대해 渐近적 상수 기준값 개념을 도입하여 클러스터 크기 변화에 따른 기준값 행동을 엄밀히 평가할 수 있도록 하기 위해.
• 단조성 개념을 강화하여 이전 정의를 통합하고 확장하여 클러스터 세분화 상황에서도 일관성을 확보하기 위해.
• 실세계 데이터셋과 생산용 뉴스 집계 시스템을 활용하여 이론적 결과를 경험적으로 검증하고 지표 간 일관성 없는 성질을 입증하기 위해.
• 이론적 결론을 실제 사용자 행동에 기반하여 뿌리내리기 위해, 오프라인에서 클러스터링 알고리즘을 순위 매기고 온라인 A/B 테스트 결과와 비교하기 위해.

실험 결과

연구 질문

• RQ1 상수 기준값과 단조성과 같은 가장 바람직한 이론적 성질을 만족하는 군집 유사도 지표는 무엇인가?
• RQ2 NMI, AMI, Rand와 같은 인기 지표들이 공식적인 이론적 검토를 받을 경우, 덜 알려진 지표들에 비해 어떻게 성능을 보이는가?
• RQ3 지표 간 의견 차이가 실세계 응용에서 알고리즘 순위의 일관성 없음으로 이어지는 정도는 어느 정도인가?
• RQ4 응용 분야의 요구사항에 기반해 검증 지표 선택을 안내할 수 있는 통합된 이론적 프레임워크를 개발할 수 있는가?
• RQ5 AMI 및 NMI max와 같은 지표의 편향이 온라인 A/B 실험을 통해 검증되었을 때 실세계 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 14개의 군집 유사도 지표 중에서 상관계수와 소칼 및 스내의 첫 번째 지표만이 인간이 정의한 기준을 제외한 모든 바람직한 이론적 성질을 만족한다.
• 상관계수 지표가 渐近적으로 기준값이 일정하며, 아크코사인 변환을 통해 거리로 쉽게 변환 가능하므로 검증에 매우 적합함을 입증하였다.
• NMI max 및 NMI와 같은 인기 지표들은 인간이 애초에 정의한 기준과의 일치도가 낮은 경우에도 더 많은 클러스터를 포함한 분할을 선호함을 확인하였다.
• 실세계 뉴스 집계 시스템에서 온라인 A/B 테스트를 통해 CC와 S&S가 사용자 경험과 일치하는 순위를 도출한 반면, AMI는 열등한 알고리즘을 잘못 선호함을 확인하였다.
• Rand 지표는 테스트된 10개 데이터셋 전부에서 k=2 클러스터를 선호하였고, NMI 및 NMI max는 8~9개의 데이터셋에서 k=2×ref-clusters를 선호하여 체계적인 편향을 드러냈다.
• AMI 및 F-측정과 같은 지표들이 작은 클러스터에 민감하게 반응함을 발견하여, 클러스터 크기 균형이 중요한 응용 분야에서는 해로울 수 있음을 확인하였다.