[논문 리뷰] DaCe - Data-Centric Parallel Programming Framework

Tal Ben‐Nun, Johannes de Fine Licht외 3명|arXiv (Cornell University)|2019. 05. 10.

Parallel Computing and Optimization Techniques인용 수 8

한 줄 요약

이 논문은 과학적 코드를 저수준 최적화에서 분리하여 CPU, GPU, FPGA 등 다양한 하드웨어 아키텍처 간 성능 이식성을 보장하는 데이터 중심의 중간 표현인 상태기반 데이터플로우 다중그래프(SDFG)를 소개한다. SDFG에 대해 확장 가능한 그래프 변환(예: 타일링 및 더블 버퍼링)을 적용함으로써 도메인 과학자들은 원본 코드를 수정하지 않고도 하드웨어의 최고 성능에 가까운 성능을 달성할 수 있다.

ABSTRACT

DaCe compiles code in various programming languages and paradigms (Python/Numpy, MATLAB, TensorFlow) and maps it efficiently to CPUs, GPUs, and FPGAs with high utilization, on par with the state-of-the-art. The key feature driving DaCe is its Stateful DataFlow multiGraph (SDFG) <em>data-centric intermediate representation</em>: A transformable, interactive representation of code based on data movement. With data-centric parallel programming, we enable direct knowledge transfer of performance optimization, regardless of the scientific application or the target processor. DaCe can be written inline in Python and transformed in the command-line, or SDFGs can be interactively modified using the Data-centric Interactive Optimization Development Environment (DIODE). The latest version of the code can be found at https://github.com/spcl/dace<br>

연구 동기 및 목표

• GPU 및 FPGA와 같은 이종 아키텍처를 위한 성능이 우수하고 이식 가능한 코드를 작성하는 데 점점 증가하는 복잡성에 대응하기 위해.
• 도메인 과학자들의 고수준 코드를 저수준 성능 최적화에서 분리하여 유지보수 부담을 줄이기 위해.
• 성능 엔지니어가 원본 과학적 논리에 영향을 주지 않고도 중간 표현에서의 변환을 통해 코드 최적화를 수행할 수 있도록 하기 위해.
• 동일한 코드가 다양한 하드웨어 플랫폼에서 높은 성능을 달성할 수 있도록 성능 이식성을 달성하기 위해.

제안 방법

• 과학적 코드를 상태기반 데이터플로우 다중그래프(SDFG)로 표현하여 세밀한 데이터 의존성과 고수준 제어 흐름을 포괄한다.
• 그래프 리라이팅과 패턴 매칭을 사용하여 타일링, 더블 버퍼링, 루프 융합 등의 프로그램 변환을 적용한다.
• 인터랙티브하고 점진적인 SDFG 최적화를 위한 그래픽 사용자 인터페이스와 확장 가능한 API를 활용한다.
• 미세한 런타임과 아키텍처에 특화된 코드 생성을 사용하여 SDFG를 최적화된 바이너리로 컴파일한다.
• 도메인 코드(파이썬/MATLAB)와 성능 튜닝을 분리하여, 성능 튜닝은 모두 SDFG 표현에서만 수행된다.
• 데이터 플로우 추적과 memlet 기반 데이터 이동 모델링을 활용하여 데이터 국소성과 이동 최적화를 정밀하게 수행한다.

실험 결과

연구 질문

• RQ1 데이터 중심의 중간 표현이 원본 과학적 코드를 수정하지 않고도 CPU, GPU, FPGA 간 성능 이식성을 가능하게 할 수 있는가?
• RQ2 SDFG 기반 변환(예: 타일링 및 더블 버퍼링)이 이종 아키텍처에서 성능 향상에 얼마나 효과적인가?
• RQ3 성능 엔지니어가 도메인 전용 수학에 깊은 이해 없이도 SDFG 변환을 통해 코드를 얼마나 효과적으로 최적화할 수 있는가?
• RQ4 SDFG는 커널부터 그래프 분석에 이르기까지 광범위한 계산 모티프를 표현하고 경쟁적인 성능으로 최적화할 수 있는가?

주요 결과

• SDFG는 성능 이식성을 가능하게 한다: 동일한 과학적 코드가 수정 없이 CPU, GPU, FPGA에서 경쟁 가능한 성능을 달성한다.
• SDFG 프레임워크를 통해 성능 엔지니어는 그래프 기반 변환을 통해 세 가지 타겟 아키텍처에서 모두 최고 성능에 가까운 성능을 달성할 수 있다.
• SDFG에 적용된 타일링 및 더블 버퍼링 변환은 다양한 하드웨어에서 데이터 국소성을 향상시키고 메모리 지연을 숨기는 데 크게 기여한다.
• 도메인 과학자들이 코드를 쉽게 이해할 수 있도록 유지하면서도 별도의 최적화된 SDFG 표현을 통해 고성능 컴파일을 실현한다.
• 프레임워크는 기본 커널부터 그래프 분석에 이르기까지 광범위한 계산 모티프를 지원하여 넓은 적용 가능성을 보여준다.
• 도메인 과학자와 성능 엔지니어 간의 책임 분리로 코드 유지보수 오버헤드가 감소하고, 새로운 아키텍처에 대해 전체 재구현이 필요 없어진다.