[논문 리뷰] Generalized network community detection

Lovro Šubelj, Marko Bajec|arXiv (Cornell University)|2011. 10. 12.

Complex Network Analysis Techniques참고 문헌 49인용 수 7

한 줄 요약

이 논문은 공동체 수에 대한 사전 지식이 필요 없이 링크 밀도 공동체와 링크 패턴 공동체를 모두 식별할 수 있는 모델 기반 레이블 전파 알고리즘을 제안한다. 노드 클러스터링 계수를 활용해 공동체 모델링을 정교화함으로써, 인위적 및 실제 네트워크(일부분, 이분, 소프트웨어 종속성 네트워크 포함)에서 최신 기술 수준의 성능을 달성한다. 또한 예측 데이터 클러스터링 작업에서도 뛰어난 성능을 보인다.

ABSTRACT

Community structure is largely regarded as an intrinsic property of complex real-world networks. However, recent studies reveal that networks comprise even more sophisticated modules than classical cohesive communities. More precisely, real-world networks can also be naturally partitioned according to common patterns of connections between the nodes. Recently, a propagation based algorithm has been proposed for the detection of arbitrary network modules. We here advance the latter with a more adequate community modeling based on network clustering. The resulting algorithm is evaluated on various synthetic benchmark networks and random graphs. It is shown to be comparable to current state-of-the-art algorithms, however, in contrast to other approaches, it does not require some prior knowledge of the true community structure. To demonstrate its generality, we further employ the proposed algorithm for community detection in different unipartite and bipartite real-world networks, for generalized community detection and also predictive data clustering.

연구 동기 및 목표

• 기존 공동체 탐지 방법이 공동체 수에 대한 사전 지식이 필요하거나 링크 밀도 공동체만 존재한다고 가정하는 한계를 해결하기 위해.
• 일관성 있는(링크 밀도) 및 구조적 패턴(링크 패턴) 공동체를 모두 포괄하는 더 정확하고 일반화 가능한 공동체 모델링 전략을 개발하기 위해.
• 일부분 및 이분 네트워크, 소프트웨어 종속성 네트워크를 포함한 다양한 벤치마크 네트워크와 실제 데이터셋에서 알고리즘을 평가하기 위해.
• 일반화된 공동체 탐지 및 예측 클러스터링에서의 방법의 효과성을 입증하여 다양한 네트워크 유형과 구조에서의 강인함을 보여주기 위해.

제안 방법

• 노드 클러스터링 계수 기반의 공동체 모델링 전략을 도입하여 레이블 전파 알고리즘(LPA)을 개선함으로써 구조적 패턴을 더 잘 포착하도록 한다.
• 이전 연구에서 사용된 도전도 기반 공동체 파라미터를 클러스터링 계수 기반 측정치로 대체하여 공동체 탐지 정확도를 향상시킨다.
• 링크 강도에서 유도된 가중치를 사용해 각 노드가 이웃 노드들 중에서 가장 빈도가 높은 레이블을 수용하는 가중치 기반 레이블 전파를 수행한다.
• 수렴할 때까지 반복적으로 알고리즘을 적용하며, 더 이상 레이블이 변경되지 않을 때 공동체 레이블이 안정화된다.
• 인cidience 행렬을 통한 네트워크 표현과 블록모델 재정렬을 활용해 탐지된 공동체를 시각화하고 검증한다.
• 유사도 네트워크를 역 체비셰프 거리와 임계값 설정을 통해 희박화시켜 데이터셋에서 구성한 후, 데이터 클러스터링에 적용한다.

실험 결과

연구 질문

• RQ1 공동체 수에 대한 진정한 수를 사전에 알지 못해도, 공동체 탐지 알고리즘이 링크 밀도 공동체와 링크 패턴 공동체를 모두 탐지할 수 있는가?
• RQ2 노드 클러스터링 계수 기반 모델링이 도전도 기반 모델링에 비해 정확도와 강인성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 일부분, 이분, 소프트웨어 종속성 네트워크를 포함한 다양한 네트워크 유형으로 일반화되는 정도는 어느 정도인가?
• RQ4 기존의 K-평균 및 모델 기반 EM 클러스터링과 비교할 때, 알고리즘이 예측 데이터 클러스터링 작업에서 얼마나 효과적인가?
• RQ5 식별된 분할과 해상도 한계 사례를 포함한 벤치마크 네트워크에서, 이 방법이 최신 기술 수준의 알고리즘을 초월하는가?

주요 결과

• 제안된 방법, MPA(Model-based Propagation Algorithm)는 제이카조 카라테 네트워크에서 NMI 0.7386을 기록하며 이전 방법들을 능가한다.
• 데이비스 여성 네트워크에서 MPA는 NMI 0.7369를 기록하여 실제 사회 네트워크에서 뛰어난 성능을 보였다.
• javax 자바 소프트웨어 종속성 네트워크에서 MPA는 NMI 0.7431을 기록하며 고수준 소프트웨어 패키지를 공동체로 정확히 복원했다.
• 데이터 클러스터링에서 MPA는 아이ris 데이터셋에서 NMI 0.8264, Ecoli 데이터셋에서 NMI 0.6251을 기록하며, 두 경우 모두 K-평균과 MM(EM)을 모두 능가했다.
• Ecoli 데이터셋에서 MPA는 MM(EM)을 크게 능가했으며, MM(EM)은 동일 조건에서 단지 NMI 0.0797을 기록해 열악한 성능을 보였다.
• 이 방법은 javax 네트워크에서 링크 밀도 공동체와 링크 패턴 공동체를 모두 성공적으로 식별했으며, 일부 패키지(예: javax.swing)는 링크 패턴 공동체를 형성하고 다른 패키지(예: javax.xml)는 링크 밀도 공동체를 형성했다.