[논문 리뷰] Memetic Graph Clustering

Sonja Biedermann, Monika Henzinger외 2명|arXiv (Cornell University)|2018. 01. 01.

Complex Network Analysis Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 그래프 클러스터링을 위한 일반적인 멤티크 알고리즘인 VieClus을 소개한다. 이 알고리즘은 다중 수준 그래프 압축, 앙상블 기반 재조합 연산자, 국소 탐색을 조합하여 모듈래티비티를 최적화한다. 대부분의 소형 인스턴스에서 1분 이내로 10번째 DIMACS 구현 챌린지의 모든 항목을 개선하거나 재현함으로써 최신 기술 수준의 성능을 달성하며, 확장 가능한 병렬 처리를 통해 낮은 런타임으로 고품질의 해를 제공한다.

ABSTRACT

It is common knowledge that there is no single best strategy for graph clustering, which justifies a plethora of existing approaches. In this paper, we present a general memetic algorithm, VieClus, to tackle the graph clustering problem. This algorithm can be adapted to optimize different objective functions. A key component of our contribution are natural recombine operators that employ ensemble clusterings as well as multi-level techniques. Lastly, we combine these techniques with a scalable communication protocol, producing a system that is able to compute high-quality solutions in a short amount of time. We instantiate our scheme with local search for modularity and show that our algorithm successfully improves or reproduces all entries of the 10th DIMACS implementation~challenge under consideration using a small amount of time.

연구 동기 및 목표

• 다양한 목적 함수에 적응할 수 있는 일반 목적의 멤티크 알고리즘을 개발하기 위해.
• 국소 탐색에만 의존하는 기존 방법들이 국소 최적점에 갇힐 수 있는 한계를 해결하기 위해.
• 다중 수준 압축을 진화 연산자와 통합하여 해 품질과 수렴 속도를 향상시키기 위해.
• 병렬 실행을 지원하는 통신 프로토콜을 통해 확장 가능하고 고성능의 클러스터링을 가능하게 하기 위해.
• 모듈래티비티 최대화를 위한 10번째 DIMACS 구현 챌린지 벤치마크에서 기존 솔버를 능가하기 위해.

제안 방법

• 알고리즘은 다중 수준 프레임워크를 활용하여 그래프를 반복적으로 압축함으로써 더 희소한 수준에서 전역 탐색을 가능하게 한다.
• 재조합의 기초로 앙상블 클러스터링을 사용한다: 두 개의 클러스터링이 오버래이(클러스터 멤버십의 교집합)를 통해 새로운 후손을 생성한다.
• 인구 다양성을 유지하고 조기 수렴을 방지하기 위해, 동점 처리를 랜덤화함으로써 재조합을 향상시킨다.
• 후손을 개선하고 모듈래티비티를 향상시키기 위해 국소 탐색을 적용하며, 다중 수준 구조를 활용해 효율적인 정밀 조정을 수행한다.
• 확장 가능한 통신 프로토콜을 통해 여러 프로세서에서 병렬 실행을 가능하게 하여 수렴 속도를 가속화한다.
• 알고리즘은 모듈래티비티 최적화를 위한 국소 탐색으로 구현되었으며, 표준 DIMACS 벤치마크에서 평가되었다.

실험 결과

연구 질문

• RQ1 앙상블 기반 재조합을 갖춘 일반적인 멤티크 알고리즘이 10번째 DIMACS 그래프 클러스터링 챌린지에서 기존 최신 기술 수준의 솔버를 능가할 수 있는가?
• RQ2 다중 수준 압축과 앙상블 재조합의 조합이 해 품질 향상과 수렴 속도 향상에 얼마나 효과적인가?
• RQ3 동일한 알고리즘이 다양한 그래프 유형과 크기에서 다수의 전문화된 솔버를 대체할 수 있는 정도는 어느 정도인가?
• RQ4 재조합 중 동점 처리 시 랜덤화가 인구 다양성과 최종 해 품질에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘이 소형 및 대규모 그래프에서 짧은 시간 내에 고품질의 모듈래티비티 결과를 달성할 수 있는가?

주요 결과

• VieClus는 모듈래티비티 클러스터링을 위한 10번째 DIMACS 구현 챌린지의 모든 항목을 개선하거나 재현하였으며, 대부분의 소형 인스턴스에서 1분 이내에 더 좋은 결과를 도출하였다.
• astro-ph (Q = 0.745246), cond-mat-2005 (Q = 0.747181), power (Q = 0.940974) 등의 일부 벤치마크 그래프에서 이전 최고 기록을 초월하는 더 높은 모듈래티비티를 보고하였다.
• 알고리즘은 매우 빠른 속도로 고품질의 해를 도출하였으며, 수렴 그래프는 초기 인구 생성 단계 이후 급격한 향상이 관찰되었다.
• 앙상블 재조합과 다중 수준 압축을 활용함으로써 해 공간의 효과적인 탐색이 가능해져 조기 수렴을 방지하였다.
• 확장 가능한 통신 프로토콜 덕분에 효율적인 병렬 실행이 가능하여, 대규모 그래프에 대한 실용적인 적용이 가능했다.
• 결과적으로 VieClus는 모듈래티비티 기반 그래프 클러스터링을 위한 새로운 최신 기술 수준의 휴리스틱으로, 단일 통합 프레임워크로 다수의 전문화된 솔버를 대체할 수 있음을 입증하였다.