[논문 리뷰] Bayan Algorithm: Detecting Communities in Networks Through Exact and Approximate Optimization of Modularity

Samin Aref, Mahdi Mostajabdaveh외 1명|arXiv (Cornell University)|2022. 09. 10.

Complex Network Analysis Techniques인용 수 6

한 줄 요약

Bayan 알고리즘은 정확한 및 근사적인 커뮤니티 탐지에 특화된 방법으로, 정수계획법 기반의 브랜치 앤 컷 기법을 사용하여 모듈러리티를 최적화함으로써 전역 최적 또는 근사 최적의 분할을 보장한다. 이 알고리즘은 기존 방법들보다 더 높은 성능을 보이며, 표준 하드웨어에서 이전에 해결이 불가능했던 인스턴스(최대 4500개 간선)를 해결할 수 있으며, 공개된 파이썬 구현(bayanpy)을 제공한다.

ABSTRACT

Community detection is a classic network problem with extensive applications in various fields. Its most common method is using modularity maximization heuristics which rarely return an optimal partition or anything similar. Partitions with globally optimal modularity are difficult to compute, and therefore have been underexplored. Using structurally diverse networks, we compare 30 community detection methods including our proposed algorithm that offers optimality and approximation guarantees: the Bayan algorithm. Unlike existing methods, Bayan globally maximizes modularity or approximates it within a factor. Our results show the distinctive accuracy and stability of maximum-modularity partitions in retrieving planted partitions at rates higher than most alternatives for a wide range of parameter settings in two standard benchmarks. Compared to the partitions from 29 other algorithms, maximum-modularity partitions have the best medians for description length, coverage, performance, average conductance, and well clusteredness. These advantages come at the cost of additional computations which Bayan makes possible for small networks (networks that have up to 3000 edges in their largest connected component). Bayan is several times faster than using open-source and commercial solvers for modularity maximization, making it capable of finding optimal partitions for instances that cannot be optimized by any other existing method. Our results point to a few well performing algorithms, among which Bayan stands out as the most reliable method for small networks. A Python implementation of the Bayan algorithm (bayanpy) is publicly available through the package installer for Python.

연구 동기 및 목표

• 히우리스틱 모듈러리티 최대화 알고리즘에서 보장되지 않는 최적성의 문제를 해결하기 위해.
• 정확한 최적의 분할 또는 알려진 최적성 갭 내의 고품질 근사 해를 제공하는 방법을 개발하기 위해.
• 특히 중간 크기의 실제 네트워크에 대해 이전의 한계를 초월해 정확한 모듈러리티 최대화의 경계를 확장하기 위해.
• 연구자들이 증명 가능하게 최적 또는 근사 최적의 커뮤니티 탐지 결과를 필요로 할 때 실용적이고 효율적이며 신뢰할 수 있는 도구를 만들기 위해.
• 특화된 알고리즘이 일반 목적의 히우리스틱보다 기존 커뮤니티 구조를 복원하는 데에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 알고리즘은 노드의 커뮤니티 할당을 나타내는 이진 변수를 사용한 모듈러리티 최대화 문제의 정수계획법(IP) 설정을 사용한다.
• 반복적으로 유효한 부등식(삼각형 제약 조건)을 추가하여 선형계획법(LP) 근사를 강화하고 분수해를 제거하는 브랜치 앤 컷 기법을 적용한다.
• 검색을 이끄는 데 상한(선형계획법 근사에서의 상한)과 하한(예: Combo 알고리즘과 같은 히우리스틱 해에서의 하한)의 조합을 사용한다.
• 브랜치 앤 바운드 트리의 각 노드에서, 위반된 삼중 제약 조건(x_ij + x_ik + x_jk = 0 또는 ≥ 2)을 기반으로 컷을 추가하여 탇가능 영역을 분할한다.
• 하위 문제의 하한을 위해, 알고리즘은 특정 노드 삼중체가 융합되는 것을 막기 위해 모듈러리티 행렬에서 조정된 델타 값 δ를 빼는 방식으로 수정한다.
• 기 incumbent(최선의 타당해)와 최선의 바운드가 수렴(간격 = 0)할 때 정확한 해를 위한 종료 조건이 설정되며, 근사해의 경우 시간 또는 최적성 갭 한계에 도달하면 종료된다.

실험 결과

연구 질문

• RQ1 기존 정확한 솔버의 한계를 초월해 실제 네트워크에 대해 특화된 알고리즘이 정확한 모듈러리티 최대화를 달성할 수 있는가?
• RQ2 Bayan의 성능은 기존 30개의 커뮤니티 탐지 방법들과 비교해 기존 커뮤니티 구조를 복원하는 데 얼마나 우수한가?
• RQ3 상업적 및 오픈소스 솔버와 비교해, Bayan이 정확한 모듈러리티 최적화의 확장성과 신뢰성에 얼마나 기여하는가?
• RQ4 맞춤형 컷과 바운드 강화 기법을 사용한 브랜치 앤 컷 접근법이 최대 4500개 간선의 네트워크에서 최적 또는 근사 최적의 해를 달성할 수 있는가?
• RQ5 히우리스틱 기반 하한과 동적 δ-조정이 수렴 속도와 해 품질에 어떤 영향을 미치는가?

주요 결과

• Bayan은 이전의 어떤 정확한 방법보다도 큰 연결 성분에서 최대 4500개 간선의 네트워크에 대해 전역 최적의 분할을 성공적으로 계산한다.
• 유사한 인스턴스에서 오픈소스 및 상용 솔버(Gurobi 등)보다 수 배 빠른 속도를 보이며, 이전에 해결이 불가능했던 문제에 대한 정확한 해를 가능하게 한다.
• 합성 및 실제 네트워크에서의 벤치마크 테스트에서, Bayan은 30개의 다른 방법과 비교해 더 뛰어난 정확도와 안정성을 보였다.
• Bayan의 근사 버전은 통제된 최적성 갭 내에서 고품질의 해를 제공하여 정확한 최적화가 불가능한 더 큰 네트워크에 적합하다.
• pip를 통해 이용 가능한 파이썬 라이브러리 bayanpy는 연구자들이 커뮤니티 탐지 워크플로우에 쉽게 통합할 수 있도록 보장한다.
• 이 연구는 Louvain, Leiden, Combo와 같은 히우리스틱 알고리즘이 최적의 분할에 도달하지 못하며, 조정된 상호정보 기반의 이질성 점수가 최적해와 0.5를 초과하는 경우가 많다는 것을 확인했다.