[논문 리뷰] Normalized Mutual Information to evaluate overlapping community finding algorithms

Aaron F. McDaid, Derek Greene외 1명|arXiv (Cornell University)|2011. 10. 11.

Complex Network Analysis Techniques참고 문헌 3인용 수 229

한 줄 요약

이 논문은 겹치는 커뮤니티 탐지에 널리 사용되는 정규화 상호정보(NMI) 측정치에서 발생하는 직관적이지 않은 행동을 식별하고 수정한다. 원래의 LFK 정규화 대신 max(H(X), H(Y))를 사용하는 더 전통적인 정규화 방식을 제안한다. 개선된 측정치인 NMI_max는 유사도가 낮을수록 0에 수렴하고 동일할수록 1에 수렴하는 더 직관적인 행동을 보이며, 특히 클러스터 수가 비균형적인 경우에도 검증된 제어 실험을 통해 입증된다.

ABSTRACT

Given the increasing popularity of algorithms for overlapping clustering, in particular in social network analysis, quantitative measures are needed to measure the accuracy of a method. Given a set of true clusters, and the set of clusters found by an algorithm, these sets of clusters must be compared to see how similar or different the sets are. A normalized measure is desirable in many contexts, for example assigning a value of 0 where the two sets are totally dissimilar, and 1 where they are identical. A measure based on normalized mutual information, [1], has recently become popular. We demonstrate unintuitive behaviour of this measure, and show how this can be corrected by using a more conventional normalization. We compare the results to that of other measures, such as the Omega index [2].

연구 동기 및 목표

• 겹치는 커뮤니티 탐지 알고리즘 평가에 사용되는 LFK 정규화 상호정보(NMI_LFK) 측정치에서 발생하는 직관적이지 않은 행동을 식별하고 해결하는 것.
• 해당 측정치의 해석 가능성과 일관성을 향상시키기 위해 max(H(X), H(Y)) 기반의 더 전통적인 정규화 전략을 제안하는 것.
• NMI_LFK가 예측 커버가 기준 커버의 부분집합이거나 전체 부분집합 집합(power set)과 비교될 때조차도 0.5를 초과하는 값(반직관적인 결과)을 도출한다는 점을 입증하여, 알고리즘 평가의 신뢰성에 문제가 있음을 보여주는 것.
• 지식 기반의 진짜 커뮤니티가 있는 합성 네트워크에서 제어 실험을 통해 제안된 NMI_max 측정치의 향상된 행동을 검증하는 것.

제안 방법

• 논문은 클러스터 소속 행렬에서 유도된 엔트로피와 조건부 엔트로피 항을 사용하여 두 클러스터 커버 X와 Y 사이의 상호정보 기반 유사도 측정치를 정의한다.
• 클러스터 벡터가 거의 보완 관계일 경우 상호정보가 0이 되도록 보장하기 위해, 수정된 조건부 엔트로피 H*(X_i|Y_j)를 도입한다.
• H(X|Y)는 X의 각 클러스터 i에 대해 Y의 모든 클러스터 j에 대한 H*(X_i|Y_j)의 최솟값을 합산하여 계산하고, 마찬가지로 H(Y|X)도 계산한다.
• 상호정보 I(X:Y)는 두 공식 [H(X) - H(X|Y) + H(Y) - H(Y|X)] / 2의 평균으로 계산하여 일관성을 확보한다.
• 제안된 정규화는 원래의 LFK 분모를 max(H(X), H(Y))로 대체하여 NMI_max = I(X:Y) / max(H(X), H(Y))를 도출한다.
• 이 방법은 C++로 구현되었으며, 200개의 노드와 20개의 비겹치는 커뮤니티를 가진 합성 네트워크에서 평가되었다.

실험 결과

연구 질문

• RQ1 작은 커버를 더 큰 커버와 비교할 때, 예측 커버가 기준 커버의 완전한 부분집합임에도 불구하고 NMI_LFK가 0.5를 초과하는 값을 도출하는 이유는 무엇인가?
• RQ2 특히 단일 클러스터 대 전체 클러스터 집합 또는 모든 부분집합의 힘집합(power set)과 비교할 때 NMI_LFK에서 발생하는 직관적이지 않은 행동의 근본 원인은 무엇인가?
• RQ3 max(H(X), H(Y))로 정규화된 제안된 NMI_max 측정치는 NMI_LFK에 비해 해석 가능성과 일관성에서 어떻게 향상되는가?
• RQ4 예측 커버의 클러스터 수가 1개에서 모든 기준 커뮤니티로 증가하는 상황에서 NMI_max는 더 직관적인 행동을 보이는가?

주요 결과

• NMI_LFK는 단일 클러스터를 20개의 비겹치는 커뮤니티로 이루어진 전체 커버와 비교할 때, 예측 커버가 기준 커버의 완전한 부분집합임에도 불구하고 약간 0.5를 초과하는 값을 도출한다.
• 힘집합 시나리오—즉, 한 커버가 n개의 노드에 대한 2^n - 1개의 비어있지 않은 부분집합을 포함할 경우—NMI_LFK는 여전히 약간 0.5를 초과한 채 유지되며, 이는 유사도가 최소일 때여서여야 한다.
• 제안된 NMI_max 측정치는 예측 커버가 작을 경우 0에 수렴하고, 예측 커버의 클러스터 수가 기준 커버와 일치할수록 1에 수렴하는 올바른 값을 할당한다.
• 합성 실험에서 예측된 커뮤니티의 수가 1개에서 20개로 증가함에 따라 NMI_max 측정치는 0에서 1로 선형적이고 직관적인 증가를 보인다.
• NMI_LFK의 직관적이지 않은 행동은 한 커버가 다른 커버보다 훨씬 더 복잡한(즉, 더 많은 클러스터를 가진) 경우, 그 정규화 분모가 왜곡되어 0.5의 하한선이 생기기 때문이다.
• 이 연구는 max(H(X), H(Y))를 사용하는 전통적인 정규화가 겹치는 커뮤니티 탐지 알고리즘 평가를 위한 더 해석 가능하고 행동적으로 일관된 측정치를 제공함을 확인한다.