[논문 리뷰] An Information-Theoretic External Cluster-Validity Measure

Byron Dom|arXiv (Cornell University)|2012. 12. 12.

Advanced Clustering Algorithms Research참고 문헌 4인용 수 28

한 줄 요약

이 논문은 진짜 클래스 레이블을 예측하는 데 클러스터 레이블이 얼마나 잘 작동하는지 측정함으로써 클러스터링 품질을 평가하는 정보이론적 외부 클러스터 유효성 측정법을 제안한다. 이 측정법은 클러스터 레이블을 사용해 클래스 레이블을 압축했을 때의 코드 길이 감소를 모델링함으로써, 서로 다른 수의 클러스터를 가진 클러스터링 간에 원칙적인 비교가 가능하도록 상호정보량을 확장한다. 이때 모델 비용에 포함된 추정된 조건부 확률을 포함한다.

ABSTRACT

In this paper we propose a measure of clustering quality or accuracy that is appropriate in situations where it is desirable to evaluate a clustering algorithm by somehow comparing the clusters it produces with ``ground truth' consisting of classes assigned to the patterns by manual means or some other means in whose veracity there is confidence. Such measures are refered to as ``external'. Our measure also has the characteristic of allowing clusterings with different numbers of clusters to be compared in a quantitative and principled way. Our evaluation scheme quantitatively measures how useful the cluster labels of the patterns are as predictors of their class labels. In cases where all clusterings to be compared have the same number of clusters, the measure is equivalent to the mutual information between the cluster labels and the class labels. In cases where the numbers of clusters are different, however, it computes the reduction in the number of bits that would be required to encode (compress) the class labels if both the encoder and decoder have free acccess to the cluster labels. To achieve this encoding the estimated conditional probabilities of the class labels given the cluster labels must also be encoded. These estimated probabilities can be seen as a model for the class labels and their associated code length as a model cost.

연구 동기 및 목표

• 기본 진짜 클래스 레이블이 존재할 때 클러스터링 품질을 평가하기 위한 원칙적이고 정량적인 방법을 개발하기 위해.
• 다른 수의 클러스터를 가진 클러스터링 간에 공정한 비교를 가능하게 하기 위해.
• 클러스터링 평가를 압축 문제로 프레임워크화하여, 클러스터 레이블이 클래스 레이블을 얼마나 효과적으로 예측하는지 측정하기 위해.
• 클러스터 수가 다를 경우에도 상호정보량을 확장하여, 다양한 클러스터링 출력 간 일관된 평가를 보장하기 위해.

제안 방법

• 이 방법은 클러스터 레이블이 알려져 있을 때 클래스 레이블을 인코딩하는 데 필요한 비트 수의 감소를 압축 기반 접근 방식으로 모델링한다.
• 클러스터 레이블이 주어진 조건에서 클래스 레이블의 코드 길이를 계산하며, 클러스터에 대한 클래스의 추정된 조건부 확률을 포함한다.
• 압축된 클래스 레이블 길이 외에도 모델(즉, 추정된 조건부 확률)을 인코딩하는 데 드는 비용을 고려한다.
• 다른 수의 클러스터를 허용함으로써 상호정보량을 일반화하여, 클러스터링 간 비교에 적합하게 한다.
• 클러스터 할당을 클래스 레이블에 대한 예측 모델로 간주하며, 총 코드 길이에 모델 비용을 포함한다.
• 최종 측정값은 클러스터 레이블을 클래스 레이블 압축의 보조 정보로 사용할 때 기대 코드 길이의 감소이다.

실험 결과

연구 질문

• RQ1 다른 수의 클러스터를 가진 클러스터링 간 비교가 가능한 방식으로 클러스터링 품질을 어떻게 측정할 수 있는가?
• RQ2 클러스터 레이블이 진짜 클래스 레이블을 얼마나 효과적으로 예측하는가?
• RQ3 클러스터 수가 다를 경우 상호정보량을 어떻게 확장할 수 있으며, 이로써 해석 가능성과 일관성이 유지되는가?
• RQ4 정보이론적 원칙을 사용하여 클러스터와 클래스 간의 관계를 최적의 방식으로 모델링하는 방법은 무엇인가?
• RQ5 클러스터 유효성 평가에서 모델 복잡도(예: 추정된 확률)를 공정하게 반영하는 방법은 무엇인가?

주요 결과

• 제안된 측정법은 서로 다른 수의 클러스터를 가진 클러스터링 간 비교가 가능하도록 상호정보량을 일반화한다.
• 클러스터 수가 동일할 경우, 이 측정법은 클러스터 레이블과 클래스 레이블 간의 표준 상호정보량으로 축소된다.
• 클러스터 레이블을 사용해 클래스 레이블을 예측하는 데서 얻는 효과적인 압축 이득을 측정함으로써, 클러스터링 간 원칙적인 비교가 가능하다.
• 특히 조건부 확률을 추정하는 데 드는 코드 길이를 포함한 모델 비용의 포함으로 인해 모델 비교의 공정성이 보장된다.
• 이 측정법은 서로 다른 수의 클러스터를 생성하는 알고리즘에 대해서도 정량적 평가가 가능하게 한다.
• 이 방법은 강건하고 해석 가능하며, 명확한 정보이론적 기반을 가진 모델 기반 압축 작업으로서 클러스터링 평가를 프레임워크화한다.