[논문 리뷰] Community Detection in Partially Observable Social Networks

Cong Tran, Won-Yong Shin외 1명|arXiv (Cornell University)|2017. 12. 30.

Complex Network Analysis Techniques참고 문헌 57인용 수 11

한 줄 요약

이 논문은 누락된 노드와 간선이 있는 부분적으로 관찰 가능한 소셜 네트워크에서 겹치는 커뮤니티 탐지에 대한 새로운 프레임워크인 KroMFac를 제안한다. 크로네커 그래프 모델을 활용해 누락된 네트워크 구조를 추론하고 중심성 기반으로 영향력 있는 노드를 선별함으로써, 정규화된 비음수 행렬 분해(NMF)를 통해 커뮤니티 탐지 정확도를 향상시킨다. 이는 정규화된 상호정보량(NMI)을 사용한 합성 및 실세계 네트워크에서 기준선들을 능가한다.

ABSTRACT

The discovery of community structures in social networks has gained significant attention since it is a fundamental problem in understanding the networks' topology and functions. However, most social network data are collected from partially observable networks with both missing nodes and edges. In this paper, we address a new problem of detecting overlapping community structures in the context of such an incomplete network, where communities in the network are allowed to overlap since nodes belong to multiple communities at once. To solve this problem, we introduce KroMFac, a new framework that conducts community detection via regularized nonnegative matrix factorization (NMF) based on the Kronecker graph model. Specifically, from an inferred Kronecker generative parameter matrix, we first estimate the missing part of the network. As our major contribution to the proposed framework, to improve community detection accuracy, we then characterize and select influential nodes (which tend to have high degrees) by ranking, and add them to the existing graph. Finally, we uncover the community structures by solving the regularized NMF-aided optimization problem in terms of maximizing the likelihood of the underlying graph. Furthermore, adopting normalized mutual information (NMI), we empirically show superiority of our KroMFac approach over two baseline schemes by using both synthetic and real-world networks.

연구 동기 및 목표

• 누락된 노드와 간선이 존재하는 부분적으로 관찰 가능한 소셜 네트워크에서 겹치는 커뮤니티 탐지의 과제를 해결한다.
• 기존 방법들이 커뮤니티 탐지 과정에서 네트워크의 불완전성을 고려하지 못하는 한계를 극복한다.
• 네트워크 완성과 커뮤니티 탐지의 통합된 프레임워크를 개발하여 정확도를 향상시킨다.
• 오직 영향력 있는 노드(고도수 노드)만 선택적으로 복구하여 불완전한 데이터에서 오류가 누적되는 것을 막는다.
• 정규화된 상호정보량(NMI)을 통한 정량적 평가를 통해 합성 및 실세계 네트워크 데이터셋을 사용해 제안된 프레임워크의 효과성을 입증한다.

제안 방법

• 관측된 부분 그래프에서 생성 매개변수 행렬을 추정함으로써, 크로네커 그래프 모델을 사용해 네트워크의 누락된 부분을 추론한다.
• 중심성 순위—특히 도수 중심성과 카츠 중심성—을 적용하여 영향력 있는 노드(고도수 노드)를 식별하고 선택한다.
• 오류 전파를 최소화하기 위해 오직 가장 영향력 있는 복구된 노드들만 원래 그래프에 지능적으로 추가한다.
• 기본적인 그래프의 가능도를 최대화하고 겹치는 커뮤니티 구조를 드러내기 위해 정규화된 비음수 행렬 분해(NMF) 문제를 설정한다.
• NMF로부터 확보한 소속 행렬을 기반으로 노드를 커뮤니티에 할당하여 겹치는 소속 관계를 허용한다.
• 기준선 방법과의 성능 비교를 위해 정규화된 상호정보량(NMI)을 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 복구된 영향력 있는 노드의 포함 여부가 부분적으로 관찰된 네트워크에서 겹치는 커뮤니티 탐지 정확도에 미치는 영향은 무엇인가?
• RQ2 크로네커 기반의 생성 모델이 누락된 네트워크 구조를 효과적으로 재구성하여 후속 커뮤니티 탐지 성능을 향상시킬 수 있는가?
• RQ3 중심성 기반 노드 선택(예: 도수 중심성 대비 카츠 중심성)이 모든 누락된 노드를 단순 복구하는 것보다 더 나은 커뮤니티 탐지 성능을 낳는가?
• RQ4 네트워크 완성 또는 더 선택적인 복구 전략을 사용하지 않는 기준선 방법과 비교해 KroMFac는 어떻게 성능을 냈는가?
• RQ5 제안된 KroMFac 프레임워크의 계산 복잡도는 무엇이며, 네트워크 크기가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• KroMFac는 누락된 노드와 간선를 무시하는 기준선 1과 모든 누락된 노드를 선택 없이 복구하는 기준선 2를 상당히 능가한다. 이는 정규화된 상호정보량(NMI)으로 측정된 결과이다.
• 그래프 2에서 RN 샘플링의 경우, 도수 중심성을 사용할 때 최대 NMI는 0.1991이었고, 카츠 중심성 사용 시 0.1935였으며, 이는 도수 중심성이 더 나은 성능을 낸다는 것을 시사한다.
• 그래프 2에서 FF 샘플링의 경우, 도수 중심성 사용 시 최대 NMI는 0.2966이었고, 카츠 중심성 사용 시 0.2832였으며, 다시 한번 도수 기반 선택이 유리함을 보여준다.
• KroMFac의 계산 복잡도는 약 |E|log|E|로 스케일링되며, 실험 결과와 일치하여 희박한 큰 그래프에서도 효율적인 성능을 보인다.
• 제거 실험을 통해 네트워크 완성과 선택적 노드 복구가 모두 핵심 요소임을 확인하였으며, 전체 KroMFac 프레임워크가 모든 테스트 데이터셋에서 가장 높은 NMI를 달성했다.
• 효율적인 희박 행렬 저장 방식(예: 좌표 형식)을 통해 메모리 오버헤드를 줄여 대규모 NMF 계산에서의 확장성을 유지한다.