[논문 리뷰] Understanding partition comparison indices based on counting object pairs

Matthijs J. Warrens, Hanneke van der Hoef|arXiv (Cornell University)|2019. 01. 07.

Reliability and Agreement in Measurement참고 문헌 58인용 수 7

한 줄 요약

이 논문은 객체 쌍 수를 세는 방식에 기반한 분할 비교 지표를 분석하여, 전체 지표인 Rand 지수와 보정 Rand 지수와 같은 지표들이 클러스터 크기에 따라 달라지는 가중치를 가진 클러스터 수준의 일치 측정치의 가중 평균임을 입증한다. 주요 발견은 이러한 지표들이 클러스터 크기의 불균형에 매우 민감하며, 주로 큰 클러스터에서의 일치를 반영하고 소형 클러스터에 대한 정보는 최소한으로 제공한다는 것이다. 또한 Rand 유사 지표들은 둘 다 분할에 연결되지 않은 객체 쌍들에 의해 지배되어 항상 높은 값을 보이며, 이는 지표의 해석을 어렵게 만든다.

ABSTRACT

In unsupervised machine learning, agreement between partitions is commonly assessed with so-called external validity indices. Researchers tend to use and report indices that quantify agreement between two partitions for all clusters simultaneously. Commonly used examples are the Rand index and the adjusted Rand index. Since these overall measures give a general notion of what is going on, their values are usually hard to interpret. Three families of indices based on counting object pairs are analyzed. It is shown that the overall indices can be decomposed into indices that reflect the degree of agreement on the level of individual clusters. The overall indices based on the pair-counting approach are sensitive to cluster size imbalance: they tend to reflect the degree of agreement on the large clusters and provide little to no information on smaller clusters. Furthermore, the value of Rand-like indices is determined to a large extent by the number of pairs of objects that are not joined in either of the partitions.

연구 동기 및 목표

• 전체 분할 비교 지표, 예를 들어 Rand 지수가 널리 사용되고 있음에도 불구하고 해석하기 어려운 이유를 이해하기 위해.
• 전체 쌍 수 지표를 클러스터 수준의 구성요소로 분해하여 그 내부 구조와 가중치를 드러내기 위해.
• 클러스터 크기 불균형이 이러한 지표의 해석 가능성과 신뢰성에 어떤 영향을 미치는지 조사하기 위해.
• 왜 Rand 유사 지표들이 높은 값을 보이며(예: 0.7에서 1 사이), 무엇이 그 값을 결정하는지 명확히 하기 위해.
• 소형 클러스터의 복원 평가에 있어 어떤 지표가 소형 클러스터에 민감한지, 어떤 지표는 그렇지 않은지 파악하여 클러스터 검증을 위한 방법 선택에 도움을 주기 위해.

제안 방법

• 논문은 전체 지표를 클러스터별 일치 지표의 가중 평균으로 분해하며, 여기서 가중치는 클러스터 크기의 제곱 함수이다.
• 세 가지 유형의 쌍 수 지표를 분석한다: Wallace 지수에 기반한 지표, Wallace 지수와 연결되지 않은 쌍 지수를 조합한 지표, 그리고 우연에 따라 조정된 지표(예: 보정 Rand 지수)이다.
• 분석은 두 분할 모두에서 함께 연결되거나 분리된 객체 쌍에 대한 일치를 반영하는 구성요소로 지표를 공식적으로 분해한다.
• 이 방법은 특히 연결되지 않은 쌍들에 의해 전체 지표 값에 미치는 영향을 정량화한다.
• 인위적 및 실세계 데이터 예제에 분해를 적용하여 클러스터 크기 불균형 상황에서 지표의 행동을 설명한다.
• 상대적 가중치(예: P/N, (N−P)/N)를 사용하여 전체 지표 값에 기여하는 큰 클러스터와 작은 클러스터의 상대 기여도를 비교한다.

실험 결과

연구 질문

• RQ1 쌍 수 기반의 전체 분할 비교 지표는 개별 클러스터 수준에서의 일치를 어떻게 반영하는가?
• RQ2 왜 Rand 지수나 보정 Rand 지수와 같은 지표들이 높은 값을 보이며, 일반적으로 0.7에서 1 사이의 값을 갖는가?
• RQ3 쌍 수 지표의 값이 어느 정도 둘 다 분할에 연결되지 않은 객체 쌍의 수에 의해 결정되는가?
• RQ4 클러스터 크기 불균형은 이러한 지표가 소형 클러스터와 대형 클러스터에서의 일치에 대해 얼마나 민감한지에 어떤 영향을 미치는가?
• RQ5 어떤 종류의 지표가 클러스터 검증에서 소형 클러스터의 복원을 평가하는 데 가장 유용한 정보를 제공하는가?

주요 결과

• Rand 지수나 보정 Rand 지수와 같은 전체 쌍 수 지표들은 클러스터 크기의 제곱에 비례하는 가중치를 가진 클러스터 수준의 일치 지표의 가중 평균이다.
• Wallace 지수에 기반한 지표들(예: Jaccard, Fowlkes-Mallows)은 클러스터 크기 불균형에 매우 민감하며, 주로 큰 클러스터에서의 일치를 반영하고 소형 클러스터에 대한 정보는 거의 제공하지 않는다.
• Rand 유사 지표들은 둘 다 분할에 연결되지 않은 객체 쌍들의 수에 의해 지배되며, 이는 그들이 높은 값을 보이는 이유를 설명한다(일반적으로 0.7에서 1 사이).
• 모든 분석 예제에서 연결되지 않은 쌍의 상대 가중치((N−P)/N)는 연결된 쌍의 상대 가중치(P/N)보다 훨씬 크며, 이는 연결되지 않은 쌍들이 지표 값의 주요 원동력임을 확인한다.
• 분해 분석 결과, 클러스터 크기 불균형은 체계적인 편향을 유도한다: 큰 클러스터가 전체 지표 값에 비례적으로 더 큰 기여를 하며, 소형 클러스터가 잘 복원되지 않더라도 영향을 미친다.
• 이 연구는 정보 이론적 지표들도 클러스터 크기 불균형에 민감함을 확인하였으며, 이는 쌍 수 지표보다 더 복잡한 메커니즘을 통해 발생한다.