[논문 리뷰] Accelerating PageRank using Partition-Centric Processing

Kartik Lakhotia, Rajgopal Kannan외 1명|arXiv (Cornell University)|2017. 09. 21.

Graph Theory and Algorithms참고 문헌 40인용 수 4

한 줄 요약

이 논문은 페이지랭크를 가속화하기 위해 정점들을 파티션으로 그룹화하여 DRAM 통신과 랜덤 메모리 접근을 줄이는 새로운 접근법인 파티션 중심 처리 방법론(PCPM)을 제안한다. 새로운 PNG 데이터 레이아웃과 분기 회피 기법을 사용함으로써, 대규모 그래프에서 최신 기술 대비 평균 2.7배의 성능 향상과 1.7배의 통신량 감소를 달성한다.

ABSTRACT

PageRank is a fundamental link analysis algorithm that also functions as a key representative of the performance of Sparse Matrix-Vector (SpMV) multiplication. The traditional PageRank implementation generates fine granularity random memory accesses resulting in large amount of wasteful DRAM traffic and poor bandwidth utilization. In this paper, we present a novel Partition-Centric Processing Methodology (PCPM) to compute PageRank, that drastically reduces the amount of DRAM communication while achieving high sustained memory bandwidth. PCPM uses a Partition-centric abstraction coupled with the Gather-Apply-Scatter (GAS) programming model. By carefully examining how a PCPM based implementation impacts communication characteristics of the algorithm, we propose several system optimizations that improve the execution time substantially. More specifically, we develop (1) a new data layout that significantly reduces communication and random DRAM accesses, and (2) branch avoidance mechanisms to get rid of unpredictable data-dependent branches. We perform detailed analytical and experimental evaluation of our approach using 6 large graphs and demonstrate an average 2.7x speedup in execution time and 1.7x reduction in communication volume, compared to the state-of-the-art. We also show that unlike other GAS based implementations, PCPM is able to further reduce main memory traffic by taking advantage of intelligent node labeling that enhances locality. Although we use PageRank as the target application in this paper, our approach can be applied to generic SpMV computation.

연구 동기 및 목표

• 공유 메모리 시스템에서 비정규적인 메모리 접근 패턴과 높은 DRAM 트래픽으로 인한 페이지랭크의 성능 저하 문제를 해결하기 위해.
• 기존의 정점 기반 및 간선 기반 SpMV 모델에서 유발되는 중복된 간선 탐색과 랜덤 메모리 접근을 줄이기 위해.
• 파티셔닝과 지능적인 노드 레이블링을 통해 데이터 국소성을 활용하여 메모리 대역폭 활용도를 향상시키기 위해.
• 일반적인 SpMV 워크로드에 적용 가능한 시스템 최적화, 확장 가능한 프로그래밍 모델을 개발하기 위해.

제안 방법

• 개별 노드나 간선이 아닌 정점의 그룹(파티션)을 중심으로 계산을 재구조화하는 파티션 중심 처리 방법론(PCPM)을 도입한다.
• Gather-Apply-Scatter(GAS) 모델을 사용하지만, 전체 파티션을 한 번에 처리함으로써 랜덤 DRAM 접근을 최소화하도록 데이터 접근을 재조정한다.
• 스트리밍 메모리 접근 패턴을 가능하게 하고, 최대 75% 이상의 피크 메모리 대역폭을 유지할 수 있는 새로운 PNG(파티셔닝된 노드 그룹) 데이터 레이아웃을 제안한다.
• 커널 계산에서 데이터에 의존적인 예측 불가능한 분기를 제거하기 위해 분기 회피 메커니즘을 적용한다.
• 최적화된 쓰기 오프셋과 바이너리 크기 계산을 통해 사전 처리 오버헤드를 줄이는 인덱스 기반 파티셔닝을 사용한다.
• 데이터 국소성을 향상시키고 산산이 흩어진 메모리 접근을 줄이기 위해 지능적인 노드 레이블링을 활용하여 산산이 흩어진 메모리 접근을 줄인다.

실험 결과

연구 질문

• RQ1 캐시 우수한 그룹으로 정점들을 파티셔닝하면, 페이지랭크에서 DRAM 통신을 줄이고 메모리 대역폭 활용도를 향상시킬 수 있는가?
• RQ2 성능 및 통신량 측면에서 파티션 중심 처리는 정점 기반 및 간선 기반 GAS 모델과 비교해 어떻게 다른가?
• RQ3 데이터 레이아웃 최적화와 분기 없는 실행이 페이지랭크와 같은 SpMV 기반 그래프 알고리즘의 성능을 얼마나 더 빠르게 만들 수 있는가?
• RQ4 PCPM는 페이지랭크를 초월한 다른 희박 행렬-벡터 곱셈 계산에도 일반화될 수 있는가?

주요 결과

• 16코어 공유 메모리 시스템에서 여섯 개의 대규모 실세계 그래프를 대상으로 최신 기술 대비 평균 2.7배의 실행 시간 단축을 달성한다.
• 메인 메모리 통신량은 평균 1.7배 감소하였으며, 데이터셋 간으로는 1.3배에서 2.5배의 개선이 관찰되었다.
• 이 플랫폼에서 최적의 파티션 크기는 256 KB이며, 압축 효과와 캐시 국소성 간의 균형을 잘 맞춘다.
• PCPM의 사전 처리 시간은 한 번의 반복 시간 이내이며, 여러 번의 페이지랭크 반복 동안 분할되어 처리된다.
• PNG 데이터 레이아웃은 랜덤 메모리 접근을 제거함으로써 피크 대역폭의 75% 이상을 지속적으로 활용할 수 있도록 한다.
• 데이터 레이아웃 최적화와 중복 제거 덕분에, 특히 통신 집약적인 단계에서 BVGAS 및 PDPR 구현보다 PCPM가 뛰어난 성능을 보였다.