[논문 리뷰] On converting community detection algorithms for fuzzy graphs in Neo4j

Γεώργιος Δρακόπουλος, Andreas Kanavos외 2명|arXiv (Cornell University)|2016. 08. 07.

Complex Network Analysis Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 엣지가 확률적으로 존재하는 대규모 퍼지 그래프에서 재귀적 커뮤니티를 식별하기 위해 Neo4j에서 사용할 수 있도록 두 가지 잘 알려진 커뮤니티 탐지 알고리즘인 Walktrap 및 Newman-Girvan의 퍼지적 변형인 Fuzzy Walktrap와 Fuzzy Newman-Girvan을 소개한다. 이 방법은 엣지 존재 확률을 모델링하기 위해 소속도 함수를 활용하며, 다양한 종료 기준 하에서 합성 크로네커 그래프에서 성능을 평가하여 확률적 네트워크 구조에서 효과적인 커뮤니티 탐지를 입증한다.

ABSTRACT

An essential feature of large scale free graphs, such as the Web, protein-to-protein interaction, brain connectivity, and social media graphs, is that they tend to form recursive communities. The latter are densely connected vertex clusters exhibiting quick local information dissemination and processing. Under the fuzzy graph model vertices are fixed while each edge exists with a given probability according to a membership function. This paper presents Fuzzy Walktrap and Fuzzy Newman-Girvan, fuzzy versions of two established community discovery algorithms. The proposed algorithms have been applied to a synthetic graph generated by the Kronecker model with different termination criteria and the results are discussed.

연구 동기 및 목표

• 기존의 커뮤니티 탐지 알고리즘인 Walktrap 및 Newman-Girvan을 확률적 소속도를 가진 엣지가 존재하는 퍼지 그래프에 적용할 수 있도록 확장한다.
• 실제 네트워크 구조(예: 소셜 미디어 및 생물학적 네트워크 등)에서 흔히 볼 수 있는 대규모 및 재귀적 커뮤니티 구조에서 효율적인 커뮤니티 탐지를 가능하게 한다.
• 실제 구현 및 확장성을 고려해 Neo4j 그래프 데이터베이스 플랫폼 내에서 퍼지 변형 알고리즘을 구현하고 평가한다.
• 다양한 종료 기준이 합성 퍼지 그래프에서 탐지된 커뮤니티의 품질과 안정성에 미치는 영향을 분석한다.

제안 방법

• 소속도 함수에서 유도된 확률적 엣지 소속도 값으로 결정적 엣지 가중치를 대체하여 Walktrap 알고리즘을 변형한다.
• 퍼지 그래프에서 엣지의 기대 중간성(betweenness)을 사용하도록 Newman-Girvan 알고리즘을 수정하며, 이는 엣지 존재 확률에 기반하여 계산된다.
• 각 엣지에 0에서 1 사이의 소속도 값을 할당하여 그래프를 퍼지 그래프로 모델링한다. 이는 엣지 존재 가능성의 정도를 나타낸다.
• 재귀적 커뮤니티 특성을 가진 실제 네트워크 구조를 시뮬레이션하기 위해 크로네커 무작위 그래프 모델을 사용해 합성 테스트 그래프를 생성한다.
• 알고리즘의 실행 시간과 출력 품질를 제어하기 위해 커뮤니티 구조의 수렴 또는 사전 정의된 반복 횟수 기반의 종료 기준을 적용한다.
• 대규모 그래프에서의 확장성을 확보하기 위해 Cypher와 그래프 처리 확장 기능을 활용해 Neo4j 내에서 퍼지 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 Walktrap 알고리즘은 어떻게 확률적 엣지 소속도를 가진 퍼지 그래프에서 작동하도록 변형할 수 있는가?
• RQ2 Fuzzy Newman-Girvan 및 Fuzzy Walktrap의 변형은 합성 퍼지 그래프에서 커뮤니티 구조를 어느 정도 유지하는가?
• RQ3 다양한 종료 기준은 퍼지 그래프 환경에서 커뮤니티 탐지의 안정성과 품질에 어떤 영향을 미치는가?
• RQ4 제안된 퍼지 알고리즘은 대규모이고 실생활과 유사한 그래프 구조에서 재귀적 커뮤니티를 효과적으로 식별할 수 있는가?

주요 결과

• Fuzzy Walktrap 및 Fuzzy Newman-Girvan의 퍼지 변형은 합성 크로네커 그래프에서 재귀적 커뮤니티 구조를 성공적으로 식별하며, 확률적 엣지 불확실성에 대해 뛰어난 내구성을 보였다.
• 다양한 종료 기준은 탐지된 커뮤니티의 수와 응집도에 상당한 영향을 미치며, 조기 종료는 일반적으로 더 안정적이고 밀도 높은 클러스터를 도출하는 경향이 있었다.
• Fuzzy Newman-Girvan에서 기대 엣지 중간성의 사용은 퍼지 환경에서 결정적 대안 대비 더 정확한 커뮤니티 분할을 이끌어냈다.
• 퍼지 그래프에서 Fuzzy Walktrap는 결정적 버전 대비 더 높은 커뮤니티 모듈러리티를 달성하여, 확률적 환경에서의 탐지 성능 향상을 시사했다.