[논문 리뷰] GraphMat: High performance graph analytics made productive

Narayanan Sundaram, Nadathur Satish외 5명|arXiv (Cornell University)|2015. 03. 25.

Graph Theory and Algorithms참고 문헌 20인용 수 22

한 줄 요약

GraphMat는 그래프 분석 프레임워크로서 정점 프로그래밍의 생산성과 최적화된 희소 행렬 연산의 효율성을 결합한 고성능 시스템이다. 정점 프로그램을 일반화된 희소 행렬-벡터 곱셈(SPMV)으로 매핑함으로써, GraphLab, CombBLAS, Galois와 같은 프레임워크보다 1.2–7× 빠른 성능을 달성하며, 수작업 최적화된 코드와는 평균 1.2× 이내로 근접한 성능을 보이며 24코어에서 13–15×의 스케일업 성능을 확보한다.

ABSTRACT

Given the growing importance of large-scale graph analytics, there is a need to improve the performance of graph analysis frameworks without compromising on productivity. GraphMat is our solution to bridge this gap between a user-friendly graph analytics framework and native, hand-optimized code. GraphMat functions by taking vertex programs and mapping them to high performance sparse matrix operations in the backend. We get the productivity benefits of a vertex programming framework without sacrificing performance. GraphMat is in C++, and we have been able to write a diverse set of graph algorithms in this framework with the same effort compared to other vertex programming frameworks. GraphMat performs 1.2-7X faster than high performance frameworks such as GraphLab, CombBLAS and Galois. It achieves better multicore scalability (13-15X on 24 cores) than other frameworks and is 1.2X off native, hand-optimized code on a variety of different graph algorithms. Since GraphMat performance depends mainly on a few scalable and well-understood sparse matrix operations, GraphMatcan naturally benefit from the trend of increasing parallelism on future hardware.

연구 동기 및 목표

• 고수준 추상화가 실행 효율성을 희생시키는 경향이 있는 그래프 분석 프레임워크의 성능-생산성 격차를 해소하기 위해.
• 개발자가 수작업 저수준 최적화 없이도 익숙한 정점 프로그래밍 모델을 사용해 그래프 알고리즘을 생산적으로 작성할 수 있도록 하기 위해.
• 잘 알려진 고도로 최적화된 희소 행렬 연산을 백엔드로 활용해 수작업 최적화된 코드 수준의 성능에 가까운 성능을 달성하기 위해.
• 표준화된 행렬 기반 실행 모델을 통해 다코어 확장성 향상과 다양한 하드웨어 플랫폼으로의 효율적 이식성을 향상시키기 위해.
• 배열 처리 시스템이 정점 프로그래밍 프론트엔드를 통해 그래프 분석을 지원할 수 있도록 확장 가능하고 고성능 기반을 제공하기 위해.

제안 방법

• GraphMat는 사용자가 작성한 정점 프로그램을 일반화된 희소 행렬-벡터 곱셈(SPMV)으로 매핑하여, 저수준 그래프 순회 로직을 잘 알려진 고성능 계산(HPC) 원천으로 추상화한다.
• 프레임워크는 C++로 구현되며, SPMV 커널 최적화에 중점을 두며, 메모리 액세스 패턴 향상을 위한 비트맵 기반 희소 벡터 표현 방식을 사용한다.
• 스칼라 성능 향상을 위해 인라인 함수 최적화(-ipo)와 같은 컴파일러 수준 최적화를 적용한 후에 병렬화를 수행한다.
• 스레드 수준의 병렬 처리를 통해 로드 밸런싱 및 데이터 파artition 전략을 통해 코어 간 로드 불균형을 최소화함으로써 병렬 확장성을 확보한다.
• 실행 시 설정 가능한 파rameter로 스레드 수와 행렬 파artition 전략을 제공하여 성능과 자원 활용도 간 균형을 맞춘다.
• 백엔드 최적화는 사용자에게 투명하며, 사용자는 고수준 정점 프로그래밍 인터페이스를 통해만 상호작용하므로 생산성이 유지된다.

실험 결과

연구 질문

• RQ1 그래프 분석 프레임워크가 정점 프로그래밍을 통해 높은 생산성을 유지하면서도 수작업 최적화된 코드 수준의 성능을 달성할 수 있는가?
• RQ2 희소 행렬 연산, 특히 SPMV가 다양한 그래프 알고리즘에 대해 성능과 확장성 면에서 효과적인 백엔드로 기능할 수 있는가?
• RQ3 GraphMat의 다코어 확장성은 GraphLab, Galois, CombBLAS와 같은 기존 프레임워크와 비교해 다양한 워크로드와 코어 수에서 어떻게 나타나는가?
• RQ4 비트맵, 컴파일러 최적화, 로드 밸런싱과 같은 특정 저수준 최적화가 SPMV 실행에 미치는 성능 영향은 어떠한가?
• RQ5 작업 기반 또는 정점 중심 모델에 비해, 행렬 기반 백엔드가 이질적 및 분산 시스템으로의 이식성과 확장성 향상에 더 유리한가?

주요 결과

• GraphMat는 다양한 그래프 알고리즘에서 단일 노드 워크로드 기준으로 GraphLab, CombBLAS, Galois와 같은 고성능 프레임워크보다 1.2–7× 빠른 성능을 달성한다.
• 24코어에서 GraphMat는 13–15× 스케일업을 기록하며, GraphLab, CombBLAS, Galois는 단일 스레드 기준으로 2–12×만 스케일업하는 것과 비교해 뚜렷한 성능 우위를 보인다.
• GraphMat는 평균적으로 수작업 최적화된 코드와 1.2× 이내로 근접한 성능을 보이며, 고수준 프레임워크로서 최고 성능에 가까운 성능을 입증한다.
• 비트맵과 -ipo 컴파일러 플래그 최적화로 Pagerank에서는 최대 1.9×, SSSP에서는 1.5×의 성능 향상을 기록하며, 로드 밸런싱과 병렬화로 추가 성능 향상이 가능하다.
• 비트맵 도입으로 Pagerank의 병렬 확장성은 3.9×에서 11.7×로, SSSP는 3.4×에서 4.7×로 향상되어 상호 보완적 성능 향상이 뚜렷하다.
• GraphMat는 Pagerank에서 나머지 스칼라 코드 대비 27.3×, SSSP에서는 19.9×의 성능 향상을 기록하여 백엔드 최적화의 누적 영향을 입증한다.