[논문 리뷰] High-Performance Massive Subgraph Counting using Pipelined Adaptive-Group Communication

Langshi Chen, Bo Peng외 5명|arXiv (Cornell University)|2018. 04. 25.

Graph Theory and Algorithms참고 문헌 24인용 수 3

한 줄 요약

이 논문은 색상 코딩을 활용한 대규모 부분그래프 수세기용 고성능, 파이프라인형 적응형 그룹 통신 프레임워크를 제안하며, 분산 시스템 간의 효율적 병렬 처리를 가능하게 한다. 파이프라인 통신, 세분화된 작업 분할, 메모리 최적화된 중간 데이터 처리를 통합함으로써, 큰 템플릿(12–15 정점)과 10억 간선 그래프에서 기존 최고 수준의 MPI-Fascia 대비 최대 5배 빠른 성능과 2배 낮은 최고 메모리 사용량을 달성한다.

ABSTRACT

Subgraph counting aims to count the number of occurrences of a subgraph T (aka as a template) in a given graph G. The basic problem has found applications in diverse domains. The problem is known to be computationally challenging - the complexity grows both as a function of T and G. Recent applications have motivated solving such problems on massive networks with billions of vertices. In this chapter, we study the subgraph counting problem from a parallel computing perspective. We discuss efficient parallel algorithms for approximately resolving subgraph counting problems by using the color-coding technique. We then present several system-level strategies to substantially improve the overall performance of the algorithm in massive subgraph counting problems. We propose: 1) a novel pipelined Adaptive-Group communication pattern to improve inter-node scalability, 2) a fine-grained pipeline design to effectively reduce the memory space of intermediate results, 3) partitioning neighbor lists of subgraph vertices to achieve better thread concurrency and workload balance. Experimentation on an Intel Xeon E5 cluster shows that our implementation achieves 5x speedup of performance compared to the state-of-the-art work while reduces the peak memory utilization by a factor of 2 on large templates of 12 to 15 vertices and input graphs of 2 to 5 billions of edges.

연구 동기 및 목표

• 복잡한 고정점 템플릿을 가진 거대 스케일 그래프에서 기존 병렬 부분그래프 수세기 도구의 확장성 한계를 해결한다.
• 부정규적이고 희박한 그래프 워크로드에서 부분그래프 수세기 과정 중 발생하는 통신 병목 현상, 로드 불균형, 높은 메모리 사용량을 극복한다.
• 10억 간선 그래프에서 최대 15정점까지의 트리 템플릿에 대해 색상 코딩 기반 부분그래프 수세기의 효율적 병렬 실행을 가능하게 한다.
• 분산 부분그래프 수세기 워크로드에서 최고 메모리 사용량을 줄이고, 노드 간 통신 효율성을 향상시킨다.

제안 방법

• 계산과 통신을 겹치는 파이프라인형 적응형 그룹 통신 패턴을 도입하여 유휴 시간을 줄이고 노드 간 확장성을 향상시킨다.
• 각 노드 내 스레드 수준의 작업 부담을 균형 잡기 위해 이웃 목록의 세분화된 작업 분할을 적용한다.
• 파이프라인 스테이지 간 겹침을 통해 중간 데이터 분할을 적용하여 피크 메모리 사용량을 줄이고, 데이터 처리를 분할 및 겹침으로써 최적화한다.
• 템플릿 크기에 따라 동적으로 통신 모드를 전환할 수 있도록 Harp-DAAL 프레임워크를 활용하여 계산 대 통신 비율에 맞게 적응한다.
• 색상 코딩 기법을 활용해 근사 부분그래프 수세기를 수행하며, 트리 템플릿(트리릿)에 집중하고 최적화된 데이터 구조와 병렬 실행 모델을 적용한다.
• 계산 및 통신 단계 간 지속적인 데이터 흐름을 허용하는 데이터 기반 파이프라인 설계를 구현하여 유휴 사이클을 최소화한다.

실험 결과

연구 질문

• RQ1 부정규적이고 희박한 그래프에서 계산 대 통신 비율이 높은 분산 부분그래프 수세기 과정에서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ2 희박하고 부정규적인 그래프 데이터를 처리할 때 노드 내 스레드 간 작업 부담을 효과적으로 균형 잡는 기법은 무엇인가?
• RQ3 큰 템플릿(12–15 정점)과 10억 간선 그래프에서 거대한 부분그래프 수세기 과정 중 피크 메모리 사용량을 어떻게 줄일 수 있는가?
• RQ4 기존 MPI 기반 도구의 한계를 초월해, 파이프라인형 적응형 통신 패턴이 부분그래프 수세기의 확장성과 성능을 얼마나 향상시킬 수 있는가?
• RQ5 하이브리드 통신 및 계산 파이프라인은 실제 거대 그래프에서 15정점 템플릿까지 확장되면서도 높은 효율성과 낮은 메모리 사용량을 유지할 수 있는가?

주요 결과

• 제안된 Harp-DAAL AdaptiveLB는 트위터 그래프(20억 간선)에서 큰 템플릿(u12-2)에 대해 기존 최고 수준의 MPI-Fascia 대비 최대 5배 빠른 성능을 달성한다.
• 12–15정점 템플릿에 대해 피크 메모리 사용량이 MPI-Fascia 대비 2배 감소하여 120GB 메모리 노드에서도 실행이 가능해졌다.
• 프렌드스터 그래프(6.6억 정점, 50억 간선)에서 시스템은 12정점 템플릿까지 성공적으로 확장되었으며, MPI-Fascia는 메모리 한계로 이를 처리할 수 없었다.
• 적응형 그룹 통신과 파이프라인 기법 덕분에 큰 템플릿에서 통신 오버헤드가 MPI-Fascia의 80%에서 Harp-DAAL의 약 40%로 감소했다.
• 8개 노드에서 16개 노드로의 강한 스케일링에서 Harp-DAAL AdaptiveLB는 MPI-Fascia보다 더 높은 스피드업을 보였으며, 특히 큰 템플릿에서 두드러졌다.
• 극도로 불균형한 데이터셋에 대해서는 실행 시간에서 최대 9배의 성능 향상이 이루어져 데이터의 비정규성에 대한 강건성을 입증했다.