[논문 리뷰] Detecting Cohesive and 2-mode Communities in Directed and Undirected Networks

Jaewon Yang, Julian McAuley외 1명|arXiv (Cornell University)|2014. 01. 29.

Complex Network Analysis Techniques참고 문헌 37인용 수 38

한 줄 요약

이 논문은 방향성 있는 네트워크와 비방향성 네트워크에서 밀집된(밀도 높은 상호연결 구조) 및 2모드(이중형, 외부 노드를 공유하는 노드 간 연결 구조) 공동체를 동시에 식별하는 새로운 겹치는 공동체 탐지 방법 CoDA를 제안한다. 실수 값의 소속 강도를 통해 노드의 연결 패턴을 모델링함으로써 CoDA는 최신 기법들을 능가하며, 다양한 실제 네트워크(사회적, 생물학적, 웹 그래프 포함)에서 두 유형의 공동체가 동시에 존재하는 것을 드러낸다.

ABSTRACT

Networks are a general language for representing relational information among objects. An effective way to model, reason about, and summarize networks, is to discover sets of nodes with common connectivity patterns. Such sets are commonly referred to as network communities. Research on network community detection has predominantly focused on identifying communities of densely connected nodes in undirected networks. In this paper we develop a novel overlapping community detection method that scales to networks of millions of nodes and edges and advances research along two dimensions: the connectivity structure of communities, and the use of edge directedness for community detection. First, we extend traditional definitions of network communities by building on the observation that nodes can be densely interlinked in two different ways: In cohesive communities nodes link to each other, while in 2-mode communities nodes link in a bipartite fashion, where links predominate between the two partitions rather than inside them. Our method successfully detects both 2-mode as well as cohesive communities, that may also overlap or be hierarchically nested. Second, while most existing community detection methods treat directed edges as though they were undirected, our method accounts for edge directions and is able to identify novel and meaningful community structures in both directed and undirected networks, using data from social, biological, and ecological domains.

연구 동기 및 목표

• 기존 공동체 탐지 기법이 밀집된 밀도 높은 공동체에만 집중하는 한계를 해결하기 위해.
• 노드 간 직접 연결 없이 공통 외부 노드에 연결되는 방식으로 협력하는 공동체를 식별할 수 있는 방법을 개발하기 위해.
• 간선 방향성에 대한 고려를 통해, 간선을 비방향으로 취급할 경우 정보 손실이 발생하는 것을 방지하기 위해.
• 대규모 네트워크에서 겹치는 공동체 및 계층적으로 중첩된 공동체 구조를 탐지할 수 있도록 하기 위해.
• 사회적, 생물학적, 기술적 네트워크 전반에서 다양한 공동체 유형을 포괄하는 통합 프레임워크를 제공하기 위해.

제안 방법

• CoDA는 각 노드 $u$와 공동체 $c$에 대해 실수 값의 소속 강도인 $F_{uc}$ (밀집 공동체 소속)와 $H_{uc}$ (2모드 공동체 소속)를 사용하여 공동체를 모델링한다.
• 내부 연결성(밀집 구조)과 외부 연결 패턴(2모드 구조)을 기반으로 노드가 공동체에 얼마나 잘 맞는지를 최대화하는 최적화 문제로 공동체 탐지를 공식화한다.
• 스펙트럼 클러스터링과 그레디 개선 단계를 조합하여 수백만 개의 노드와 간선을 포함하는 네트워크에 스케일링할 수 있도록 한다.
• 각 노드가 다양한 소속 강도로 여러 공동체에 동시에 속할 수 있도록 허용함으로써 겹치는 공동체를 지원한다.
• 간선 방향성을 구분하여 들어오는 간선(in-edges)와 나가는 간선(out-edges)를 구분함으로써, 방향성 네트워크를 처리할 수 있으며, 공동체 구조 탐지 과정에서 방향 정보를 유지한다.
• 밀집 및 2모드 공동체 탐지를 하나의 통합 프레임워크에 통합하여, 두 유형의 공동체를 동시에 추론할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 노드 간 직접 연결 없이 공통 이웃을 공유하는 경우, 공동체 탐지 기법을 어떻게 확장하여 2모드 공동체를 식별할 수 있는가?
• RQ2 실제 방향성 및 비방향성 네트워크에서 밀집 공동체와 2모드 공동체가 얼마나 공존하는가?
• RQ3 간선의 방향성을 고려할 경우, 간선을 비방향으로 취급하는 것보다 더 의미 있는 공동체 구조 탐지에 어떤 개선이 이루어지는가?
• RQ4 한 가지 방법으로 대규모 네트워크에서 겹치는 공동체 및 계층적 공동체 구조를 효과적으로 탐지할 수 있는가?
• RQ5 다양한 네트워크 유형(예: 사회적, 생물학적, 웹)에서 밀집 공동체와 2모드 공동체 중 어느 것이 더 흔한가?

주요 결과

• CoDA는 기준 데이터셋에서 최신 기법들을 능가하며, 알려진 공동체를 식별하는 데 있어 뛰어난 정확도를 보였다.
• 트위터와 구글+에서 각각 20%와 30%의 공동체가 2모드 구조를 보였으며, 이는 많은 사회적 공동체가 밀집되어 있지 않고 공유 외부 링크를 통해 조율된다는 것을 시사한다.
• PPI 네트워크에서는 Y2H 데이터셋에서 50%의 공동체가 2모드였고, 문헌에서 추적한 PPI-LC 네트워크는 거의 전부 밀집 구조를 띠었다. 이는 실험적 편향이 밀집 공동체 탐지에 유리하다는 것을 시사한다.
• 웹 그래프에서는 밀집 공동체와 2모드 공동체의 비율이 거의 균형을 이루었으며, 이는 대규모 네트워크에서 두 유형의 공동체가 공존한다는 것을 뒷받침한다.
• 식량망과 인용 네트워크는 상호 연결이나 내부 연결이 없기 때문에 거의 전부 2모드 공동체로 구성되어 있으며, 이는 구조적 제약 조건과 일치한다.
• 페이스북의 에고 네트워크에서는 95% 이상이 밀집 공동체였지만, 트위터와 구글+의 에고 네트워크에서는 뚜렷한 2모드 구조가 관찰되어 플랫폼 간 네트워크 역학의 차이를 드러낸다.