[논문 리뷰] Adjusted Concordance Index, an extension of the Adjusted Rand index to fuzzy partitions

Sonia Amodio, Antonio D’Ambrosio외 2명|arXiv (Cornell University)|2015. 09. 02.

Advanced Clustering Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 농도 분할에 대한 조정된 일치 지수(ACI)를 제안한다. ACI는 농도 분할에 대해 임의의 일치를 보정하기 위해 정규화된 일치도(NDC)를 사용하는 조정된 랜드 지수(Adjusted Rand Index)의 확장이다. NDC를 순열 기반 추정을 통해 기대되는 랜덤성에 맞게 조정함으로써, ACI는 농도 클러스터링에 대해 더 신뢰할 수 있는 외부 검증 척도를 제공한다. 이는 기존 방법들보다 일관성과 해석 가능성 면에서 뛰어나며, 특히 소속 확률이 0.5에 가까울 때나 농도 분할과 딱딱한 분할을 비교할 때 유의미하다.

ABSTRACT

In comparing clustering partitions, Rand index (RI) and Adjusted Rand index (ARI) are commonly used for measuring the agreement between the partitions. Both these external validation indexes aim to analyze how close is a cluster to a reference (or to prior knowledge about the data) by counting corrected classified pairs of elements. When the aim is to evaluate the solution of a fuzzy clustering algorithm, the computation of these measures require converting the soft partitions into hard ones. It is known that different fuzzy partitions describing very different structures in the data can lead to the same crisp partition and consequently to the same values of these measures. We compare the existing approaches to evaluate the external validation criteria in fuzzy clustering and we propose an extension of the ARI for fuzzy partitions based on the normalized degree of concordance. Through use of real and simulated data, we analyze and evaluate the performance of our proposal.

연구 동기 및 목표

• 기존의 외부 검증 지수(예: 랜드 지수 및 조정된 랜드 지수)가 농도 분할에 적용될 때의 한계를 해결하기 위해, 부드러운 소속도를 딱딱한 분할로 변환해야 하며, 이로 인해 오해의 소지가 있는 결과를 낳을 수 있다.
• 딱딱한 변환 없이도 농도 분할의 구조를 유지하는 새로운 지수를 제안함으로써, 클러스터링 해법의 평가를 더 정확하게 보장하고자 한다.
• 유사도 비교에서 발생하는 랜덤성에 대응하는 측정법을 개발하여, 농도 클러스터링의 외부 검증에서 일관성과 해석 가능성의 향상을 도모하고자 한다.
• 제안된 조정된 일치 지수(ACI)의 성능을 실제 및 시뮬레이션 데이터에서 기존의 랜드 지수 확장형과 비교하여 평가하고자 한다.
• ACI가 확률적 분할 및 루스피니 분할 조건 하에서도 반사성과 적절한 거리 척도 행동과 같은 바람직한 성질을 유지하는지 보여주고자 한다.

제안 방법

• 논문은 Huberleier 등(2012)이 제안한 정규화된 일치도(NDC)를 확장하여, 임의의 일치를 보정하는 조정된 일치 지수(ACI)를 도출한다.
• ACI는 관측된 NDC와 유사도 행렬의 무작위 순열에 따른 기대 NDC 간의 차이를 계산하고, 이를 정규화하여 유도한다.
• 기대 NDC는 소속도 확률의 대규모 수의 무작위 순열을 사용한 몬테카를로 시뮬레이션을 통해 추정한다.
• 이 방법은 딱딱한 분할로의 변환 없이도 원래의 농도 구조를 유지하면서 소속도 행렬에 직접 작용한다.
• ACI는 자기 자신과 비교할 경우 반사성(값이 1이 되어야 함)을 가지며, 무작위성 하에서 잘 정의된 기대값을 가져야 한다.
• 실제 데이터셋(Iris, Sonar, Vehicle, Ionosphere, Flags)과 시뮬레이션 데이터를 사용하여 검증하였으며, NDC 및 다른 랜드 기반 확장형과의 비교를 통해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 소속도 정도를 딱딱하게 변환하지 않고도 조정된 랜드 지수를 농도 분할에 의미 있게 확장할 수 있는가?
• RQ2 제안된 조정된 일치 지수(ACI)는 기존의 랜드 기반 확장형보다 농도 클러스터링 평가에서 더 뛰어난 일관성과 해석 가능성 을 보여주는가?
• RQ3 소속도 확률이 0.5에 가까워져 임의적인 행동을 보일 때, ACI는 농도 분할에서 임의의 일치를 효과적으로 보정할 수 있는가?
• RQ4 실제 및 시뮬레이션 데이터셋에서 농도 클러스터링 해법을 평가할 때, ACI는 NDC 및 다른 랜드 기반 지수와 비교하여 어떻게 성능을 발휘하는가?
• RQ5 어떤 조건에서 ACI는 농도 분할 비교 시 반사성과 거리 척도 행동과 같은 바람직한 성질을 유지하는가?

주요 결과

• ACI는 소속도 확률이 0.5에 가까울 때 NDC가 잘못된 방향으로 높아질 수 있는 상황에서 일관성과 해석 가능성 면에서 NDC 및 다른 랜드 기반 확장형을 일관되게 뛰어넘었다.
• Sonar 데이터셋에서 추정된 분할과 진짜 분할을 비교할 때 ACI는 -0.0001의 값을 기록했으며, 이는 거의 임의의 일치를 의미한다. 이는 둘 다 소속도 확률이 0.5에 가까워서 발생한 것으로, 사실과 일치한다.
• Iris 데이터셋에서 추정된 분할과 진짜 분할을 비교할 때 ACI는 0.9298의 값을 기록했으며, 강한 일치를 의미한다. 반면 NDC는 0.9780이었으며, 이는 높은 NDC 값이 항상 의미 있는 일치를 의미하지는 않음을 확인시켜준다.
• ACI는 반사성을 보였다: 어떤 데이터셋이든 분할을 자기 자신과 비교할 때 ACI는 정확히 1.0000을 반환하였다. 반면 다른 확장형들은 이 성질을 충족하지 못했다.
• 다른 지수들(예: Anderson 등, Brouwer, Campello)과는 달리, ACI의 값은 더 일관성 있고 타당성이 있었다. 일부 지수들은 분할을 자기 자신과 비교할 때 진짜 분할과 비교할 때보다 낮은 값을 기록하기도 했다.
• PD-클러스터링 알고리즘을 사용하여 저자들은 확률 기반 기준 분할을 생성하였으며, 이는 ACI가 진짜 구조에 높은 정밀도로 농도 클러스터링 해법을 효과적으로 검증할 수 있음을 보여주었다.