[논문 리뷰] Enhancing Stability and Assessing Uncertainty in Community Detection through a Consensus-based Approach

Fabio Morea, Domenico De Stefano|arXiv (Cornell University)|2024. 08. 06.

Data-Driven Disease Surveillance인용 수 5

한 줄 요약

본 논문은 Consensus Community Detection (CCD)을 소개합니다. 이는 어떤 커뮤니티 탐지 알고리즘에 대해서도 안정성을 향상시키고, 노드 수준의 불확실성을 정량화하며, 이상치를 탐지하고, 입력 순서 편향을 완화하는 프레임워크입니다.

ABSTRACT

Complex data in social and natural sciences find effective representation through networks, wherein quantitative and categorical information can be associated with nodes and connecting edges. The internal structure of networks can be explored using unsupervised machine learning methods known as community detection algorithms. The process of community detection is inherently subject to uncertainty as algorithms utilize heuristic approaches and randomised procedures to explore vast solution spaces, resulting in non-deterministic outcomes and variability in detected communities across multiple runs. Moreover, many algorithms are not designed to identify outliers and may fail to take into account that a network is an unordered mathematical entity. The main aim of our work is to address these issues through a consensus-based approach by introducing a new framework called Consensus Community Detection (CCD). Our method can be applied to different community detection algorithms, allowing the quantification of uncertainty for the whole network as well as for each node, and providing three strategies for dealing with outliers: incorporate, highlight, or group. The effectiveness of our approach is evaluated on artificial benchmark networks.

연구 동기 및 목표

• 네트워크의 알고리즘적 무작위성과 흐림으로 인해 안정적이고 해석 가능한 커뮤니티 탐지 결과의 필요성을 동기 부여한다.
• 불확실성을 정량화하고 신뢰성을 높이기 위해 기존의 어떤 커뮤니티 탐지 알고리즘에도 적용할 수 있는 일반적인 CCD 프레임워크를 제안한다.
• 결과의 타당성, 실행 간 변동성, 이상치 처리, 입력 순서 편향 등 주요 문제를 다룬다.
• 노드 수준의 불확실성을 포함한 결과를 표현하고 커뮤니티 구조 해석을 용이하게 하는 메커니즘을 제공한다.

제안 방법

• 대상 알고리즘을 사용하여 네트워크를 순열한 버전에 대해 다수의 확률적 파티션을 실행한다.
• 유사도 점수와 분위수 임계값을 기반으로 다수와 벗어난 파티션을 가지치기한다.
• 남아 있는 파티션들로부터 동시 발생 행렬을 구성하고, 재귀적으로 커뮤니티를 γ로 할당된 불확실성 계수로 블록으로 식별한다.
• 커뮤니티 레이블과 노드 수준의 불확실성 γ가 [0,1] 범위인 파티션을 출력하며, γ=0은 안정적인 동시 발생을, 더 높은 γ는 남은 변동성을 나타낸다.
• 파티션 선택을 위한 분위수 임계값 q와 동시 발생 행렬에서 블록을 정의하기 위한 임계값 p를 도입한다.

Figure 1: Variability of results of selected community detection algorithms on a LFR benchmark network with a nominal mixing parameter $\mu=0.40$ . Top: distribution of the number of communities. Middle: similarity between pairs of partitions. Bottom: scatterplot modularity and similarity.

실험 결과

연구 질문

• RQ1 불확실성을 어떻게 정량화하고 커뮤니티 탐지 결과에 통합할 수 있는가?
• RQ2 합의 기반 절차가 서로 다른 알고리즘이나 실행에서 생성된 파티션의 안정성을 향상시킬 수 있는가?
• RQ3 커뮤니티 탐지 맥락에서 이상치를 어떻게 식별하고 처리해야 하는가?
• RQ4 입력 순서 편향이 결과에 어떤 영향을 미치며 이를 어떻게 완화할 수 있는가?
• RQ5 노드 수준 불확실성 γ와 네트워크 토폴로지(예: 중심성 또는 코어 구조) 간의 관계는 무엇인가?

주요 결과

• CCD는 반복 횟수 t가 증가함에 따라 단일 실행에 비해 안정성을 크게 향상시키고, 알고리즘마다 특정한 포화점에 다다른다.
• CCD는 노드 수준의 불확실성 계수 γ를 제공하여 일관되지 않은 커뮤니티 할당을 가진 노드를 식별할 수 있게 한다(예: 잠재적 이상치).
• CCD는 대부분의 알고리즘에서 입력 순서 편향을 감소시키고 기존 방법과 호환되는 신뢰성 향상 프레임워크를 제공한다.
• 이 방법은 Karate, RC, LFR 네트워크와 같은 벤치마크에서 명시적 불확실성 척도를 갖는 해석 가능한 커뮤니티 구조 표현을 제공한다.
• LFR 벤치마크에서 혼합 매개변수 μ에 비선형적으로 증가하는 불확실성 γ를 보이며, 알고리즘마다 서로 다른 불확실성 패턴을 보인다.

Figure 2: Three alternative strategies to manage outliers: incorporate (left), highlight as single-node communities (center), or group into an outliers’ community (right). The top row shows the network; the bottom row shows a graph of the communities, labeled with the number of nodes in each communi