[논문 리뷰] GraphIt: A High-Performance DSL for Graph Analytics

Yunming Zhang, Mengjiao Yang외 4명|arXiv (Cornell University)|2018. 05. 02.

Graph Theory and Algorithms참고 문헌 48인용 수 10

한 줄 요약

GraphIt는 성능 최적화 스케줄링과 알고리즘 명세를 분리하는 고성능 도메인 특화 언어(DSL)로, 지역성, 병렬성, 작업 효율성 간의 복잡한 트레이드오프를 탐색할 수 있도록 한다. 32개 실험 중 24개에서 6개의 최신 공유 메모리 프레임워크보다 빠르며 최대 4.8배의 성능 향상을 보이며, 코드 크기를 최대 한 단계 줄였다.

ABSTRACT

The performance bottlenecks of graph applications depend not only on the algorithm and the underlying hardware, but also on the size and structure of the input graph. Programmers must try different combinations of a large set of techniques to develop the best implementation for a specific algorithm and type of graph. Existing graph frameworks lack flexibility, supporting only a limited set of optimizations. This paper introduces GraphIt, a new DSL for graph computations that generates fast implementations for algorithms with different performance characteristics running on graphs with different sizes and structures. GraphIt separates what is computed (algorithm) from how it is computed (schedule). Programmers specify the algorithm using an algorithm language, and performance optimizations are specified using a scheduling language. The algorithm language simplifies expressing the algorithms. We formulate graph optimizations, including edge traversal direction, data layout, parallelization, cache, NUMA, and kernel fusion optimizations, as tradeoffs among locality, parallelism, and work-efficiency. The scheduling language enables programmers to easily search through this complicated tradeoff space by composing together optimizations. We also built an autotuner to automatically find high-performance schedules. The compiler uses a new scheduling representation, the graph iteration space, to model, compose, and ensure the validity of the large number of optimizations. GraphIt outperforms the next fastest of six state-of-the-art shared-memory frameworks (Ligra, Green-Marl, GraphMat, Galois, Gemini, and Grazelle) on 24 out of 32 experiments by up to 4.8$ imes$, and is never more than 43% slower than the fastest framework on the other experiments. GraphIt also reduces the lines of code by up to an order of magnitude compared to the next fastest framework.

연구 동기 및 목표

• 알고리즘적 병목 현상, 하드웨어 특성, 그래프 구조의 다양성으로 인해 그래프 분석에서 높은 성능을 달성하는 데 도전하는 것.
• 기존 그래프 프레임워크와 DSL이 최적화 범위가 좁고 성능 튜닝에 유연성이 부족한 점을 극복하는 것.
• 컴pos러블한 스케줄링 언어를 통해 엣지 탐색 방향, 데이터 레이아웃, 병렬화 등의 성능 최적화를 체계적으로 탐색할 수 있도록 하는 것.
• 알고리즘 로직과 저수준 최적화 선택을 분리하여 고성능 그래프 코드 작성의 복잡성을 줄이는 것.
• 수동 튜닝 노력 최소화를 위해 자동으로 고성능 스케줄을 탐색하는 자동 튜너를 제공하는 것.

제안 방법

• 알고리즘 언어와 스케줄링 언어를 별도로 사용하여 알고리즘 명세와 스케줄링을 분리한다. 알고리즘 언어는 그래프 논리를 표현하고, 스케줄링 언어는 성능 최적화를 담당한다.
• 지역성, 병렬성, 작업 효율성 간의 트레이드오프로 최적화를 모델링한다. 엣지 탐색 방향, 정점 데이터 레이아웃, 캐시 및 NUMA 인식, 커널 융합 등을 포함한다.
• 복잡한 최적화 시퀀스를 모델링하고 조합하며 검증하기 위해 그래프 반복 공간이라는 새로운 컴파일러 표현을 도입한다.
• 프로그래머가 여러 스케줄링 지시어를 연결하여 다양한 성능 트레이드오프를 탐색할 수 있도록 최적화의 조합 기능을 제공한다.
• 주어진 알고리즘과 입력 그래프에 대해 고성능 구성 설정을 자동으로 탐색하는 자동 튜너를 통합한다.
• 고급 코드 생성 및 컴파일 기법을 사용하여 고수준의 GraphIt 프로그램에서 최적화된 C++ 코드를 생성한다.

실험 결과

연구 질문

• RQ1 DSL이 알고리즘 로직과 성능 최적화를 효과적으로 분리하여 최적화 공간의 탐색을 영구적으로 가능하게 할 수 있는가?
• RQ2 탐색 방향, 데이터 레이아웃, 병렬화와 같은 최적화 세트를 어떻게 체계적으로 조합하여 다양한 그래프 유형에서 고성능을 달성할 수 있는가?
• RQ3 자동 튜너를 갖춘 컴파일러 기반 접근 방식이 다양한 워크로드에서 수동 튜닝된 구현보다 뛰어난 성능을 낼 수 있는가?
• RQ4 통합된 DSL이 전용 프레임워크의 성능을 유지하거나 초월하면서도 코드 복잡성을 얼마나 줄일 수 있는가?
• RQ5 그래프 반복 공간 표현이 복잡한 그래프 알고리즘에서 정확하고 조합 가능한 최적화 순서를 어떻게 보장하는가?

주요 결과

• GraphIt는 6개의 최신 공유 메모리 프레임워크(Ligra, Green-Marl, GraphMat, Galois, Gemini, Grazelle) 중 다음 빠른 프레임워크보다 32개 벤치마크 실험 중 24개에서 빠르며 최대 4.8배의 성능 향상을 보였다.
• 남은 8개 실험에서는 가장 빠른 프레임워크보다 최대 43% 느릴 뿐이며, 다양한 워크로드에서 일관된 경쟁력을 보였다.
• GraphIt는 다음 빠른 프레임워크보다 그래프 알고리즘을 구현하기 위해 필요한 코드 라인 수를 최대 한 단계 줄였으며, 개발자 생산성 향상에 기여했다.
• GraphIt의 자동 튜너 컴ponent는 전문가 튜닝 없이도 고성능 스케줄을 성공적으로 식별하여 최적화 공간에서의 자동 탐색의 효과성을 입증했다.
• 알고리즘과 스케줄의 분리로 확장 가능하고 조합 가능한 최적화가 가능해졌으며, 그래프 반복 공간 표현이 복잡한 최적화 조합 중 정확성을 보장했다.
• GraphIt의 스케줄링 언어는 엣지 탐색 방향, 커널 융합 등 일반 프로그래밍 언어나 기존 DSL에서는 다루기 어려운 다양한 저수준 최적화를 표현하고 조합할 수 있도록 했다.