[논문 리뷰] Parallel Maximum Clique Algorithms with Applications to Network Analysis and Storage

Ryan A. Rossi, David F. Gleich외 2명|arXiv (Cornell University)|2013. 02. 25.

Algorithms and Data Compression참고 문헌 56인용 수 9

한 줄 요약

이 논문은 대규모 희박 그래프, 특히 사회망 및 정보 네트워크를 위해 최적화된 빠르고 병렬적인 최대 클리크 알고리즘을 제시한다. 핵심 수치와 히ュ리스틱 클리크 탐지 기반의 공격적인 가지치기를 활용한 브랜치 앤 바운드 전략을 사용하여, 1,000개에서 1억 개 노드까지의 그래프에서 거의 선형 실행 시간 스케일링을 달성하며, 18억 개 간선을 가진 사회망에서 최대 클리크를 16코어 시스템에서 약 20분 내로 계산한다.

ABSTRACT

We propose a fast, parallel maximum clique algorithm for large sparse graphs that is designed to exploit characteristics of social and information networks. The method exhibits a roughly linear runtime scaling over real-world networks ranging from 1000 to 100 million nodes. In a test on a social network with 1.8 billion edges, the algorithm finds the largest clique in about 20 minutes. Our method employs a branch and bound strategy with novel and aggressive pruning techniques. For instance, we use the core number of a vertex in combination with a good heuristic clique finder to efficiently remove the vast majority of the search space. In addition, we parallelize the exploration of the search tree. During the search, processes immediately communicate changes to upper and lower bounds on the size of maximum clique, which occasionally results in a super-linear speedup because vertices with large search spaces can be pruned by other processes. We apply the algorithm to two problems: to compute temporal strong components and to compress graphs.

연구 동기 및 목표

• 대규모 네트워크 분석에서 NP-완전 문제인 최대 클리크 문제의 계산 비가역성을 해결하기 위해 확장 가능하고 병렬적인 알고리즘을 설계한다.
• 기존 정확한 방법으로는 불가능한 빌리언 엣지 네트워크에서 최대 클리크를 실용적으로 계산할 수 있도록 한다.
• 최대 클리크를 시간적 강한 구성 요소 분석 및 정점 순서 조정을 통한 그래프 압축 향상 도구로 활용한다.
• 경계 전파를 통한 효율적 병렬 처리와 함께 공격적인 가지치기를 통해 높은 성능을 달성한다.

제안 방법

• 최대 클리크 크기의 初기 하한값을 빠른 히ュ리스틱 클리크 탐지기로 확보하기 위해 브랜치 앤 바운드 프레임워크를 사용한다.
• 정점의 코어 수치와 클리크 크기의 날카운 상한을 조합하여 그래프 수준과 이웃 수준에서 탐색 공간을 공격적으로 가지치기한다.
• 비용이 많이 드는 재계산을 피하기 위해 암시적 그래프 수정과 주기적인 전체 그래프 업데이트를 적용하여 효율성을 유지한다.
• 여러 워커를 사용하여 탐색 트리 탐색을 병렬화하고, 상한 및 하한 경계의 즉각적인 경계 전파를 통해 프로세스 간 가지치기를 가능하게 하며, 일부 경우에서 초선형적 성능 향상을 달성한다.
• 입력 그래프 특성에 따라 데이터 구조와 표현 방식을 조정할 수 있는 조정 가능한 프레임워크를 설계하여 최적의 성능을 확보한다.
• 반복적으로 최대 클리크를 추출하고, 각 클리크 내부의 정점들을 도수 기반으로 정렬하여 그래프 압축을 위한 국소성 향상을 위한 정점 순서 전략을 구성한다.

실험 결과

연구 질문

• RQ1 실제 대규모 희박 네트워크에서 병렬 최대 클리크 알고리즘이 거의 선형 실행 시간 스케일링을 달성할 수 있는가?
• RQ2 코어 수치와 히ュ리스틱 클리크 탐지 기법을 얼마나 효과적으로 활용하여 정확한 최대 클리크 계산에서 가지치기를 가속화할 수 있는가?
• RQ3 최대 클리크 계산이 다이나믹 네트워크에서 가장 큰 시간적 강한 구성 요소를 효과적으로 식별하는 데 활용될 수 있는가?
• RQ4 기본 히ュ리스틱과 비교했을 때 클리크 기반 정점 순서 전략이 그래프 압축 효율성을 향상시킬 수 있는가?

주요 결과

• 16프로세서 공유 메모리 시스템을 사용하여 18억 개 간선을 가진 사회망에서 최대 클리크를 약 20분 내로 계산한다.
• 1,000개에서 1억 개 정점까지의 네트워크에서 거의 선형 실행 시간 스케일링을 보이며, 문제의 NP-완전성에도 불구하고 뛰어난 실용적 효율성을 입증한다.
• 일부 경우에서 프로세스 간 가지치기 덕분에 초선형적 성능 향상을 달성한다. 이는 한 워커의 경계 업데이트로 인해 다른 워커가 탐색 공간의 큰 부분을 제거할 수 있기 때문이다.
• 클리크 기반 정점 순서 전략은 상태 기반 최고 수준의 Layered Label Propagation (LLP) 방법과 유사한 그래프 압축 성능을 보이며, 페이스북 네트워크에서는 약간 열등하지만 여전히 효과적인 성능을 보인다.
• 도달 가능성 그래프에서 최대 클리크 계산으로 문제를 환원함으로써, 트위터 및 전화 통화 네트워크와 같은 다이나믹 네트워크에서 가장 큰 시간적 강한 구성 요소를 성공적으로 식별한다.
• 소프트웨어 구현체가 공개되어 있어 재현 가능성이 보장되고 네트워크 분석 및 그래프 처리 작업에 광범위하게 활용될 수 있다.