[논문 리뷰] Normalized mutual information is a biased measure for classification and community detection

Maximilian Jerdee, Alec Kirkley외 1명|arXiv (Cornell University)|2023. 07. 03.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 클러스터링 및 커뮤니티 탐지 평가 시 정규화된 상호정보량(NMI)에서 발생하는 두 가지 핵심 편향을 규명한다: (1) 교차표 정보량을 忽略하는 것과 (2) 대칭 정규화가 알고리즘 출력에 대한 허구적 의존성을 유도하는 것. 저자들은 기준 레이블 엔트로피로만 정규화하는 비대칭적이고 감소된 상호정보량 측정법을 제안하여 두 편향을 제거하고 완벽한 매칭이 정확히 1이 되도록 보장한다. LFR 벤치마크 네트워크에서의 수치 실험 결과, 기존 표준 NMI에서 선호되던 과다 분할 알고리즘이 새 측정법에서는 정확히 페널티를 받는 등 알고리즘 순위가 크게 변화함을 보였다.

ABSTRACT

Normalized mutual information is widely used as a similarity measure for evaluating the performance of clustering and classification algorithms. In this paper, we argue that results returned by the normalized mutual information are biased for two reasons: first, because they ignore the information content of the contingency table and, second, because their symmetric normalization introduces spurious dependence on algorithm output. We introduce a modified version of the mutual information that remedies both of these shortcomings. As a practical demonstration of the importance of using an unbiased measure, we perform extensive numerical tests on a basket of popular algorithms for network community detection and show that one's conclusions about which algorithm is best are significantly affected by the biases in the traditional mutual information.

연구 동기 및 목표

• 표준 정규화된 상호정보량(NMI)이 클러스터링 및 커뮤니티 탐지 알고리즘 평가에 사용될 때 발생하는 두 가지 기본적 편향을 규명하고 분석하는 것.
• NMI에서의 대칭 정규화가 후보 태깅에 대한 허구적 의존성을 유도하여 성능 순위를 왜곡한다는 것을 입증하는 것.
• 교차표의 정보량을 忽略함으로써 과다 분할 솔루션에서 특히 심해지는 유사도 과대평가가 발생한다는 것을 보여주는 것.
• 기준 레이블 엔트로피로만 정규화하는 새로운 비대칭적이고 감소된 상호정보량 측정법을 제안하여 편향이 없고 완벽한 매칭이 정확히 1이 되도록 보장하는 것.
• LFR 벤치마크를 사용한 네트워크 커뮤니티 탐지에 대한 광범위한 수치 실험을 통해 새로운 측정법을 검증하고, 알고리즘 순위가 유사도 측정법의 선택에 따라 극적으로 달라진다는 것을 보여주는 것.

제안 방법

• 과다 분할 솔루션에 대한 편향를 수정하기 위해 교차표의 구조에 기반한 감소 항을 적용하는 수정된 상호정보량 측정법을 제안하는 것.
• 기준 레이블링의 엔트로피로만 상호정보량을 나누는 비대칭 정규화를 도입하여 대칭 정규화의 편향을 제거하는 것.
• 감소된 상호정보량을 기준 레이블의 엔트로피로 나누어 새로운 측정법을 정의함으로써, 이 측정법이 1 이하로 유계이며 완벽한 매칭에서 정확히 1이 되도록 보장하는 것.
• 디리클레-다항분포 모델을 사용하여 랜덤 태깅 하에서 기대 교차표를 추정함으로써 상호정보량의 감소 항을 가능하게 하는 것.
• 기본 커뮤니티 구조가 알려진 LFR 벤치마크에서의 합성 네트워크를 사용하여 대규모 평가 프레임워크를 구현하는 것.
• 다양한 NMI 변종(대칭 정규화, 최소 정규화, 기하 평균 정규화)을 여러 인기 있는 커뮤니티 탐지 알고리즘 간에 비교하는 것.

실험 결과

연구 질문

• RQ1 정규화된 상호정보량에서의 대칭 정규화가 클러스터링 알고리즘 평가에 체계적인 편향을 유도하는가?
• RQ2 교차표의 정보량을 忽略함으로써 클러스터링 평가에서 얼마나 심각한 오해를 초래하는가?
• RQ3 수정된, 비대칭적으로 정규화된 상호정보량 측정법이 표준 NMI의 두 가지 알려진 편향을 모두 제거하면서도 해석 가능성을 유지할 수 있는가?
• RQ4 기존의 NMI 변종과 비교해 새로운 편향 없는 측정법을 사용할 경우 커뮤니티 탐지 알고리즘 순위는 어떻게 변화하는가?
• RQ5 제안된 측정법은 완벽한 매칭에 대해 정확히 1을 부여하는 유일한 편향 없는 정규화 방식인가?

주요 결과

• 표준 대칭 정규화 NMI는 정규화 요소가 후보 태깅에 의존하므로 편향이 있으며, 이는 허구적 성능 순위를 초래한다.
• 제안된 비대칭적이고 감소된 상호정보량 측정법은 유일한 정규화 방식이며, 완벽한 매칭이 정확히 1이 되도록 보장하고 후보 태깅에 대해 편향이 없다.
• LFR 벤치마크 네트워크에서의 수치 실험 결과, 기준보다 더 많은 커뮤니티를 생성하는 알고리즘들이 기존 NMI에서는 잘못되게 선호되지만, 새 측정법에서는 정확히 페널티를 받는다.
• 새 측정법은 대칭 NMI 변종보다 순위 정확도에서 뛰어나며, 다양한 네트워크 파라미터에 걸쳐 알고리즘 성능의 일관된 재순서가 관찰된다.
• 새 측정법의 상한은 정확히 1이며, 후보 태깅과 기준 태깅이 레이블 순열을 제외하고 동일할 경우에만 도달한다. 이는 n=200까지의 모든 테스트 케이스에서 수치적으로 증명되었다.
• 단일 노드의 잘못된 태깅 상황에서 기준 태깅이 감소된 상호정보량의 국소 최대값으로서의 안정성이 분석적으로 확인되었으며, 이는 측정법이 소규모 편향에 대해 강건함을 보여준다.