[논문 리뷰] Architecture and performance of Devito, a system for automated stencil computation

Fabio Luporini, Michael Lange외 8명|arXiv (Cornell University)|2018. 07. 09.

Computational Physics and Python Applications인용 수 7

한 줄 요약

Devito는 과학 계산 분야의 스텐실 계산을 대상으로, 파이썬에서 고수준의 기호적 PDE 표현식으로부터 고도로 최적화된 C++ 코드를 자동으로 생성하는 도메인 특화 컴파일러 프레임워크이다. 공통 부분 표현 제거, 타일링, 병렬화 등의 고급 최적화를 통해 인텔 Xeon 및 KNL 프로세서를 포함한 현대 아키텍처에서 수동 최적화된 코드와 경쟁 가능한 성능을 달성하였다.

ABSTRACT

Stencil computations are a key part of many high-performance computing applications, such as image processing, convolutional neural networks, and finite-difference solvers for partial differential equations. Devito is a framework capable of generating highly-optimized code given symbolic equations expressed in Python, specialized in, but not limited to, affine (stencil) codes. The lowering process---from mathematical equations down to C++ code---is performed by the Devito compiler through a series of intermediate representations. Several performance optimizations are introduced, including advanced common sub-expressions elimination, tiling and parallelization. Some of these are obtained through well-established stencil optimizers, integrated in the back-end of the Devito compiler. The architecture of the Devito compiler, as well as the performance optimizations that are applied when generating code, are presented. The effectiveness of such performance optimizations is demonstrated using operators drawn from seismic imaging applications.

연구 동기 및 목표

• 과학 계산 분야에서 수동 최적화된 스텐실 코드의 복잡성과 유지보수 부담을 줄이기 위해 유한차분 방법을 고수준으로 기술할 수 있도록 하는 것.
• 타일링, 루프 수준 병렬화, 공통 부분 표현 제거와 같은 성능 중심 최적화를 다층 중간 표현을 가진 컴파일러 스택을 통해 자동화하는 것.
• 모듈식 코드 생성과 백엔드 통합을 통해 CPU, GPU, 다핵 시스템을 포함한 다양한 HPC 플랫폼 간의 성능 이식성을 보장하는 것.
• 표준 스텐실 패턴을 초월해 복잡하고 비정규적인 루프 네스트 및 고급 PDE 모델(예: 이방향 파동 방정식)을 지원하는 것.
• 과학 계산 생태계와 통합되는 생산성 높은 파이썬 기반 인터페이스를 제공하면서도, 실제 적용 가능한 고성능 코드를 생성하는 것.

제안 방법

• Devito 컴파일러는 기호적 수학 표현식을 최적화된 C++ 코드로 내림차순 변환하기 위해 다층 중간 표현(IR) 스택을 사용한다.
• 고급 공통 부분 표현 제거를 통해 부동소수점 연산을 줄이고 중복 계산을 제거하기 위해 기호적 변환을 적용한다.
• YASK 스텐실 컴파일러 및 네이티브 C++ 코드 생성을 포함한 다수의 백엔드를 지원하여 CPU 및 가속기 간의 이식성을 확보한다.
• 즉시 컴파일(JIT) 및 동적 코드 생성을 활용하여 생성된 커널의 런타임 최적화 및 실행을 실시간으로 가능하게 한다.
• 중첩 및 비정규 루프를 포함한 복잡한 루프 구조를 지원하여 다양한 PDE 기반 시뮬레이션을 모델링할 수 있다.
• 기존 과학 소프트웨어 스택과 통합되며, 기호 처리를 위한 SymPy와 배열 연산을 위한 NumPy를 활용한다.

실험 결과

연구 질문

• RQ1 파이썬 기반 고수준 도메인 특화 언어가 스텐실 계산을 위한 C++ 코드를 생성할 수 있으며, 이는 손수 최적화된 구현과 경쟁하거나 이를 초월하는 성능을 달성할 수 있는가?
• RQ2 타일링, 루프 병렬화, 공통 부분 표현 제거와 같은 자동 최적화 기법이 다양한 HPC 아키텍처에서 성능 향상에 얼마나 효과적인가?
• RQ3 수동 튜닝 없이도 Devito가 CPU, GPU, 다핵 시스템 간의 성능 이식성을 얼마나 잘 달성할 수 있는가?
• RQ4 실제 과학 작업 하중에서 실시간 코드 생성 및 자동 튜닝의 런타임 및 컴파일 오버헤드는 어느 정도인가?
• RQ5 고차 스텐실과 이방향 매질을 포함한 실제 복잡한 지구물리학 이미징 연산자에서 Devito는 어떻게 스케일업하고 성능을 발휘하는가?

주요 결과

• Devito가 생성한 코드는 인텔 Xeon 및 KNL 프로세서를 포함한 최신 아키텍처에서 수동 최적화된 구현과 경쟁 가능한 성능을 보였으며, 이는 지구물리학 이미징 연산자에서 입증되었다.
• skl8180 플랫폼에서 복잡한 고차 TTI 연산자에 대한 코드 생성 및 컴파일 시간은 7초 미만이었으며, 공유 객체 로딩 및 인수 검증 오버헤드는 무시할 만할 정도로 미미했다.
• 성능 설정을 위한 자동 튜닝은 skl8180에서 3분, knl7250에서 15분이 소요되었지만, 이 비용은 생산 런타임에 걸쳐 분할되어 실제 적용에 있어 부담스럽지 않았다.
• yask 백엔드에서의 컴파일 시간은 코어 백엔드와 유사했으며, 유사한 성능 특성을 보였지만, 배열 임시 변수와 같은 일부 기능은 아직 지원되지 않았다.
• 프레임워크는 복잡하고 비정규적인 루프 네스트 및 이질적인 표현을 포함한 복잡한 워크플로우(예: 전체파면역분석)에서도 최적화된 코드를 성공적으로 생성했다.
• 시스템은 강력한 성능 이식성을 보이며, 다양한 백엔드 및 타겟 플랫폼 간에 일관된 최적화 효과를 보였다.