[논문 리뷰] Adjusting for Chance Clustering Comparison Measures

Simone Romano, Nguyễn Xuân Vinh외 2명|arXiv (Cornell University)|2015. 12. 03.

Statistical Mechanics and Entropy참고 문헌 39인용 수 135

한 줄 요약

이 논문은 타illis 엔트로피 기반 일반화된 정보이론적 측정법을 사용하여 우연에 의한 조정을 위한 통합 프레임워크를 제안한다. 이 프레임워크는 이러한 측정법에 대한 기대값과 분산을 분석적으로 계산하여, 잘 알려진 지표들인 ARI와 AMI를 포함하는 일반화된 조정 지표를 가능하게 하며, 클러스터링 구조에 따라 최적의 사용법을 근거 기반으로 제안한다.

ABSTRACT

Adjusted for chance measures are widely used to compare partitions/clusterings of the same data set. In particular, the Adjusted Rand Index (ARI) based on pair-counting, and the Adjusted Mutual Information (AMI) based on Shannon information theory are very popular in the clustering community. Nonetheless it is an open problem as to what are the best application scenarios for each measure and guidelines in the literature for their usage are sparse, with the result that users often resort to using both. Generalized Information Theoretic (IT) measures based on the Tsallis entropy have been shown to link pair-counting and Shannon IT measures. In this paper, we aim to bridge the gap between adjustment of measures based on pair-counting and measures based on information theory. We solve the key technical challenge of analytically computing the expected value and variance of generalized IT measures. This allows us to propose adjustments of generalized IT measures, which reduce to well known adjusted clustering comparison measures as special cases. Using the theory of generalized IT measures, we are able to propose the following guidelines for using ARI and AMI as external validation indices: ARI should be used when the reference clustering has large equal sized clusters; AMI should be used when the reference clustering is unbalanced and there exist small clusters.

연구 동기 및 목표

• 쌍 카운팅 측정법(예: ARI)의 조정 방법과 정보이론적 측정법(예: AMI) 간 격차를 메우는 것.
• 랜덤 클러스터링 하에서 일반화된 정보이론적 측정법의 기대값과 분산을 분석적으로 계산하는 기술적 과제를 해결하는 것.
• ARI와 AMI와 같은 기존 지표가 특수 케이스로 포함되는 일반화된 조정 측정법의 가족을 개발하는 것.
• 기준 클러스터링의 구조에 따라 ARI와 AMI 사이에서 선택하는 데 데이터 기반 지침을 제공하는 것.

제안 방법

• 타illis $q$-엔트로피 기반 일반화된 정보이론적 측정법을 특수 케이스로 포함하는 일반 측정법 클래스 $\mathcal{L}_{\phi}$ 를 도입한다.
• 랜덤이고 독립적인 클러스터링의 근본 가설 하에서 $\mathcal{L}_{\phi}$ 의 측정법에 대한 기대값과 분산에 대한 분석적 표현을 유도한다.
• 표준화된 조정(예: SMI$_q$, SVI$_q$)을 통해 클러스터링 비교에서 기저 편향과 선택 편향을 수정한다.
• 테일러 근사와 코시-슈바르츠 부등식을 사용하여 분산을 바ounds하고, 대규모 표본 크기에서의 점차적 수렴이 0으로 수렴하도록 보장한다.
• $\mathcal{N}_{\phi}$ 라는 더 넓은 가족을 정의하여, 객체 수가 클 경우 점차적 기대값을 근사할 수 있도록 한다.
• 칸텔리의 부등식을 적용하여 조정된 측정법의 통계적 유의성 검정을 위한 보수적인 p-값을 유도한다.

실험 결과

연구 질문

• RQ1 조정된 랜드 지수(ARI)와 조정된 상호정보량(AMI)의 최적 적용 시나리오는 각각 무엇인가?
• RQ2 쌍 카운팅 측정법과 정보이론적 측정법 양쪽 모두를 우연에 의한 조정을 위한 통합 분석적 프레임워크를 개발할 수 있는가?
• RQ3 랜덤 클러스터링 하에서 일반화된 정보이론적 측정법의 기대값과 분산을 분석적으로 계산할 수 있는가?
• RQ4 표준화가 클러스터링 비교 측정법의 선택 편향을 어느 정도 감소시키는가?
• RQ5 ARI와 AMI가 특수 케이스로 포함되는 일반화된 조정 측정법을 유도할 수 있는가?

주요 결과

• 타illis $q$-엔트로피 기반 일반화된 정보이론적 측정법의 기대값과 분산은 랜덤이고 독립적인 클러스터링의 근본 가설 하에서 분석적으로 계산할 수 있다.
• 제안된 일반화된 조정 측정법, 예를 들어 SMI$_q$와 SVI$_q$는 표준 z-스코어와 동일하며, $q \to 1$으로 수렴할 때 ARI와 AMI로 축소된다.
• 이 프레임워크는 처음으로 쌍 카운팅 측정법의 통계적 표준화를 가능하게 하여 클러스터링 비교에서의 선택 편향을 수정한다.
• 기준 클러스터링이 균형이 깨져 작은 클러스터를 포함할 경우 AMI가 권장되며, 클러스터가 크고 균형 잡혀 있을 경우 ARI가 선호된다.
• 객체 수 $N$ 이 증가함에 따라 일반화된 측정법의 분산은 0으로 수렴하여 조정된 지표의 점차적 안정성을 보장한다.
• 칸텔리의 부등식을 사용하여 보수적인 p-값을 계산할 수 있으며, 이는 클러스터링 유사성의 통계적 유의성 검정을 위한 통계 테스트를 제공한다.