[논문 리뷰] A Generic Library for Stencil Computations

Mauro Bianco, Ugo Varetto|arXiv (Cornell University)|2012. 07. 06.

Natural Language Processing Techniques참고 문헌 9인용 수 8

한 줄 요약

이 논문은 스텐실 연산을 위한 도메인 특화 C++ 템플릿 기반 라이브러리를 제안하며, 다양한 아키텍처에서 부분 미분 방정식(PDE) 해법기의 고수준, 이식 가능, 고성능 구현을 가능하게 한다. do_all 및 do_reduce와 같은 구조를 통해 병렬성을 추상화함으로써, 코드 변경을 최소로 하면서도 CPU, 멀티코어 시스템, HPC 클러스터, GPU에서 높은 성능을 달성한다.

ABSTRACT

In this era of diverse and heterogeneous computer architectures, the programmability issues, such as productivity and portable efficiency, are crucial to software development and algorithm design. One way to approach the problem is to step away from traditional sequential programming languages and move toward domain specific programming environments to balance between expressivity and efficiency. In order to demonstrate this principle, we developed a domain specific C++ generic library for stencil computations, like PDE solvers. The library features high level constructs to specify computation and allows the development of parallel stencil computations with very limited effort. The high abstraction constructs (like do_all and do_reduce) make the program shorter and cleaner with increased contextual information for better performance exploitation. The results show good performance from Windows multicores, to HPC clusters and machines with accelerators, like GPUs.

연구 동기 및 목표

• 스텐실 기반 PDE 해법기의 저수준 구현 복잡성을 줄임으로써 이종 컴퓨팅 환경에서의 프로그래밍 용이성 문제를 해결하고자 한다.
• 병렬성과 데이터 레이아웃을 추상화함으로써 고성능 컴퓨팅에서 생산성 향상과 이식 가능한 효율성 향상을 도모하고자 한다.
• 멀티코어 CPU, 클러스터, GPU를 포함한 다양한 아키텍처에서 성능을 희생시키지 않고도 효율적인 실행을 가능하게 하고자 한다.
• 고수준 추상화가 수동 최적화된 코드와 경쟁 가능한 성능을 제공할 수 있음을 입증하고자 한다.

제안 방법

• 라이브러리는 do_all 및 do_reduce와 같은 도메인 특화 추상화를 제공하여 고수준에서 병렬 및 축합 연산을 표현한다.
• C++ 템플릿과 일반 프로그래밍을 활용하여 다양한 백엔드에 대한 컴파일 시 최적화 및 코드 생성을 가능하게 한다.
• 스텐실 연산은 알고리즘 로직과 데이터 레이아웃, 실행 전략을 분리하는 깔끔하고 직관적인 인터페이스를 통해 표현된다.
• 라이브러리는 OpenMP(멀티코어 CPU용), MPI(클러스터용), CUDA(GPU용)를 포함한 다수의 실행 백엔드를 지원한다.
• 표현식 템플릿과 정책 기반 설계를 활용하여 런타임 오버헤드 없이 성능 중심 최적화를 가능하게 한다.
• 추상화 계층을 통해 개발자는 이식 가능한 코드를 작성하면서도 저수준 성능 특성을 유지할 수 있다.

실험 결과

연구 질문

• RQ1 고수준의 일반적인 C++ 라이브러리가 다양한 아키텍처에서 스텐실 연산에 대해 이식 가능한 성능을 달성할 수 있는가?
• RQ2 do_all 및 do_reduce와 같은 고수준 추상화가 성능을 희생시키지 않고 코드 유지보수성과 생산성을 얼마나 향상시킬 수 있는가?
• RQ3 CPU, 클러스터, GPU에서 수동 최적화된 구현과 비교해 볼 때 라이브러리의 추상화 계층은 성능 면에서 어떻게 비교되는가?
• RQ4 동일한 고수준 코드가 가속기 포함 이종 시스템에서 효율적으로 컴파일되고 실행될 수 있는가?

주요 결과

• 최소한의 코드 변경으로도 윈도우 멀티코어 시스템에서 양호한 성능을 달성하여 효과적인 병렬화를 입증하였다.
• MPI 기반 실행을 통해 HPC 클러스터에서 경쟁 가능한 성능을 제공하며 분산 시스템에서의 확장성을 입증하였다.
• CUDA를 통해 GPU 가속기로의 대상 설정에 성공하여 GPU 하드웨어에서 효율적인 실행을 달성하였다.
• do_all 및 do_reduce와 같은 고수준 구조를 사용함으로써 더 짧고 깔끔한 코드가 되었으며, 최적화를 위한 더 많은 맥락 정보를 제공하였다.
• 추상화 계층 덕분에 CPU, 클러스터, GPU를 포함한 다양한 아키텍처에서 이식 가능한 코드를 유지하면서도 효율성을 확보하였다.