[논문 리뷰] Parallel Algorithms for Butterfly Computations

Jessica Shi, Julian Shun|arXiv (Cornell University)|2019. 07. 19.

Advanced Graph Theory Research인용 수 4

한 줄 요약

이 논문은 이분 그래프에서 효율적인 병렬 빗자리계산을 위한 모듈러 프레임워크인 ParButterfly를 소개한다. 이는 정렬, 해싱, 히스토그램화 또는 배치 처리를 통한 웨지 집계와 함께 정점 순위 전략을 결합한다. 이는 가장 빠른 순차 알고리즘 대비 최대 13.6배의 성능 향상을 달성하며, 48코어 시스템에서 최대 38.5배의 자기 상대적 성능 향상을 기록한다. 이는 일반적인 부분그래프 수세기 방법과 이전의 병렬 구현보다 크게 뛰어나다.

ABSTRACT

Butterflies are the smallest non-trivial subgraph in bipartite graphs, and therefore having efficient computations for analyzing them is crucial to improving the quality of certain applications on bipartite graphs. In this paper, we design a framework called ParButterfly that contains new parallel algorithms for the following problems on processing butterflies: global counting, per-vertex counting, per-edge counting, tip decomposition (vertex peeling), and wing decomposition (edge peeling). The main component of these algorithms is aggregating wedges incident on subsets of vertices, and our framework supports different methods for wedge aggregation, including sorting, hashing, histogramming, and batching. In addition, ParButterfly supports different ways of ranking the vertices to speed up counting, including side ordering, approximate and exact degree ordering, and approximate and exact complement coreness ordering. For counting, ParButterfly also supports both exact computation as well as approximate computation via graph sparsification. We prove strong theoretical guarantees on the work and span of the algorithms in ParButterfly. We perform a comprehensive evaluation of all of the algorithms in ParButterfly on a collection of real-world bipartite graphs using a 48-core machine. Our counting algorithms obtain significant parallel speedup, outperforming the fastest sequential algorithms by up to 13.6x with a self-relative speedup of up to 38.5x. Compared to general subgraph counting solutions, we are orders of magnitude faster. Our peeling algorithms achieve self-relative speedups of up to 10.7x and outperform the fastest sequential baseline by up to several orders of magnitude.

연구 동기 및 목표

• 대규모 이분 그래프에서 빗자리 계산을 위한 효율적인 병렬 알고리즘이 부족한 문제를 해결하며, 링크 스팸 탐지 및 문서 군집화와 같은 응용 분야에서 핵심적인 역할을 한다.
• 다양한 집계 전략(정렬, 해싱, 히스토그램화, 배치 처리)과 정점 순위 방법(도수, 코어성, 측면 순서)을 지원하는 모듈러 프레임워크를 설계하여 성능 최적화를 도모한다.
• 그래프 스퍼지피케이션을 통한 정확한 및 근사적인 빗자리 수세기 기능을 제공하며, 캐시 최적화된 웨지 검색 전략을 통합하여 메모리 효율성을 향상시킨다.
• 단일 그래프에서 k-코어 분해와 유사한 계층적 조밀한 부분그래프 추출을 위한 병렬 분해 알고리즘(팁 및 웨이프 분해)을 개발한다.
• 모든 알고리즘에 대해 작업 및 스팬에 대한 강력한 이론적 보장을 확보하여, 공유 메모리 복수코어 아키텍처에서의 정확성과 확장성을 보장한다.

제안 방법

• 정렬, 해싱, 히스토그램화, 배치 처리의 네 가지 병렬 집계 기법을 사용해 정점 쌍에 인cidient한 웨지(2-경로)를 집계함으로써 효율적인 빗자리 수세기를 가능하게 한다.
• 정점 순위 전략으로 도수 순서(정확 및 근사)와 코어성 순서(정확 및 근사)를 적용하여 고영향도 웨지를 우선 처리하고 중복 계산을 줄인다.
• Sanei-Mehri 등 [53]의 그래프 스퍼지피케이션 기법을 통합하여 정확도가 보장되는 오차 범위 내에서 빠른 근사 빗자리 수세기를 가능하게 한다.
• 웨지 집계 및 분해 반복 과정에서 작업 병렬성을 보장하기 위해 Cilk 스케줄러를 활용하여 로드 밸런싱과 낮은 오버헤드를 확보한다.
• 병렬적으로 실행되는 팁(정점 기반) 및 웨이프(간선 기반) 분해 알고리즘을 구현하여, 빗자리 수가 최소인 정점/간선을 반복적으로 제거하고, 반복 과정에서 수치를 동시에 업데이트한다.
• Wang 등 [65]의 캐시 최적화된 웨지 검색 전략을 통합하여 웨지 열거 과정에서의 메모리 접근 지연을 감소시킨다.

실험 결과

연구 질문

• RQ1 모듈러이고 조합 가능한 구성 요소를 사용해 이분 그래프에서 전역, 정점 기반, 간선 기반 빗자리 수세기의 효율적인 병렬 알고리즘을 설계할 수 있는가?
• RQ2 공유 메모리 병렬 시스템에서 다양한 웨지 집계 전략(정렬, 해싱, 히스토그램화, 배치 처리)이 성능 및 확장성에 어떤 영향을 미치는가?
• RQ3 도수 또는 코어성 순서 기반의 정점 순위 전략이 빗자리 수세기의 계산 작업을 얼마나 줄일 수 있는가?
• RQ4 그래프 스퍼지피케이션을 통한 근사 빗자리 수세기가 대규모 그래프에서 높은 성능 향상을 달성하면서도 정확도를 유지할 수 있는가?
• RQ5 팁 및 웨이프 분해를 위한 병렬 분해 알고리즘이 순차 기반 기준 및 기존 분산 솔루션 대비 성능 및 확장성에서 어떻게 비교되는가?

주요 결과

• ParButterfly의 수세기 알고리즘은 가장 빠른 순차 기반 기준 대비 최대 13.6배의 성능 향상을 기록하고, 48코어 머신에서 최대 38.5배의 자기 상대적 성능 향상을 달성하여 강력한 병렬 확장성을 입증한다.
• 특히 Delicious 태그-아이템 그래프와 같은 대규모 실세계 이분 그래프에서 일반적인 부분그래프 수세기 솔루션보다 수개의 주기수를 뛰어넘는 성능 향상을 기록한다.
• 분해 알고리즘은 최대 10.7배의 자기 상대적 성능 향상을 기록하며, 가장 빠른 순차 기반 기준 대비 수개의 주기수를 뛰어넘는 성능을 보여, 조밀한 부분그래프 탐지에 효과적임을 확인한다.
• 정점 순위 전략(특히 도수 및 보완 코어성 순서)과 효율적인 집계 방법의 조합이 모든 테스트 그래프에서 실행 시간을 크게 감소시킨다.
• 그래프 스퍼지피케이션을 통해 정확도 손실을 최소화하면서도 빠른 근사 수세기를 가능하게 하여, 대규모 그래프에서 인터랙티브 분석에 실용적임을 입증한다.
• Wang 등 [65]의 캐시 최적화된 웨지 검색 전략 통합으로 인해, 특히 메모리 제약이 있는 워크로드에서 성능 향상이 더욱 두드러진다.