[논문 리뷰] On the Representation of Partially Specified Implementations and its Application to the Optimization of Linear Algebra Kernels on GPU

Ulysse Beaugnon, Basile Clément외 2명|ArXiv.org|2019. 04. 06.

Parallel Computing and Optimization Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 GPU에서의 선형 대수 커널 최적화를 부분적으로 지정된 구현으로 표현하는 제약 프로그래밍 프레임워크를 제안한다. 여기서 최적화 결정(예: 루프 융합, 벡터화, 메모리 타일링)은 제약 만족 문제(CSP) 내의 상호의존 변수로 모델링된다. 이중 의존성 해결 및 분석적 성능 하한을 통해 복잡한 최적화 공간에서 순서에 구애받지 않는 효율적인 탐색이 가능하며, 수작업 최적화된 GPU 라이브러리 수준의 성능을 달성한다.

ABSTRACT

Traditional optimizing compilers rely on rewrite rules to iteratively apply program transformations. This iterative approach hides optimization opportunities behind intermediate transformation steps. For instance, vectorization can only be applied to the innermost loop in a nest: one must first perform a loop interchange before even considering vectorization of an outer loop. In contrast, we propose an implementation framework representing programs as sets of possible implementation decisions. Specifying one decision can have an impact on others in a bidirectional manner: specifying that a loop must be vectorized prevents other loops from being nested inside it; conversely, specifying a loop as an outer loop will prevent it from being vectorized. These optimization decisions commute, obviating the pass ordering problem. We present a constraint programming system to formally define, represent and explore such implementation spaces. We also propose an exploration strategy combining tree search and branch-and-bound; the strength and novelty of this strategy reside in an analytical model of the lower bound on the execution time of a set of possible implementations. We showcase our approach on the construction and exploration of an implementation space for linear algebra kernels running on GPUs. We show this search space is expressive enough to represent complex decisions that fundamentally change the structure of the generated code. We also present preliminary results competitive with the performance of native GPU libraries.

연구 동기 및 목표

• 기존의 레이아웃 기반 컴파일러가 겪는 단계 순서 문제와 제한된 전망 능력으로 인해 발생하는 복잡하고 상호의존적인 GPU 커널 생성 최적화 문제를 해결하기 위해.
• 루프 변환, 데이터 타일링, 병렬성 매핑 등의 최적화 결정을 제약 만족 문제(CSP) 내의 상호의존 변수로 모델링하여 체계적인 탐색을 가능하게 하기 위해.
• 완전한 구현 사양 이전에도 실행 시간에 대한 분석적 하한을 통해 조기 성능 추정 및 가지치기를 가능하게 하기 위해.
• GPU 선형 대수 커널의 맥락에서 부분적으로 지정된 구현을 효율적으로 다룰 수 있도록 도메인 특화 언어와 코드 생성 파이프라인을 개발하기 위해.
• 이 접근 방식이 복잡하고 구조를 변화시키는 최적화(예: 스트립마이닝, 루프 융합, 벡터화)를 표현하고 탐색할 수 있으며, 이로 인해 수작업 최적화된 GPU 라이브러리 수준의 성능을 달성하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 각 결정(예: 벡터화, 루프 교환)을 도메인과 제약 조건이 정의된 CSP 내 변수로 가지는 부분적으로 인스턴스화된 결합 벡터로 프로그램을 표현하기 위해.
• 결정 간 상호작용을 이중 방향 제약 조건으로 모델링하기 위해: 예를 들어, 루프를 벡터화하면 다른 루프 내부에 넣을 수 없으며, 루프를 외부 루프로 만들면 벡터화가 불가능해진다.
• 트리 탐색과 분할 정복 전략을 융합한 하이브리드 탐색 전략을 사용하며, 분석적 성능 하한 모델에 의해 비순위가 높은 분기를 조기에 가지치기한다.
• 증분 평가 및 히우리스틱 기반의 구현 후보 탐색을 지원하는 제약 프로그래밍 시스템을 사용하여 최적화 공간을 인코딩하기 위해.
• 최적화 선택과 그 상호작용에 대한 고수준 기술서에서 부분적으로 지정된 구현을 다룰 수 있는 효율적인 저수준 코드를 생성하기 위해.
• 메모리 계층 구조 관리, 스레드 매핑, 루프 변환과 관련된 결정을 CSP의 일부로 인코딩하여 GPU 선형 대수 커널에 이 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 부분적으로 지정된 구현의 제약 기반 표현 방식이 기존의 레이아웃 기반 컴파일러에서 발생하는 단계 순서 문제를 해결할 수 있는가?
• RQ2 완전한 코드 생성 없이도 분석적 성능 하한이 큰 복잡한 최적화 공간에서 탐색을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 이 프레임워크는 루프 융합, 스트립마이닝, 다중 수준 병렬성과 같은 복잡하고 구조를 변화시키는 최적화를 표현하고 효과적으로 탐색할 수 있는가?
• RQ4 자동으로 생성된 커널의 성능은 수작업 최적화된 네이티브 GPU 라이브러리와 비교하여 어떻게 되는가?
• RQ5 변환 순서에 영향을 받지 않고도 전문가가 영향력 있는 결정을 먼저 내릴 수 있도록 프레임워크가 탄력적인 탐색을 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 GPU 커널 생성에서 복잡하고 상호의존적인 최적화 결정을 CSP로 효과적으로 모델링하여 순서에 구애받지 않는 탐색이 가능하며, 반복적 변환 파이프라인의 단점을 피할 수 있다.
• 하위 공간에서 유도된 분석적 성능 하한 덕분에 완전한 구현 사양 이전에도 탐색 공간의 효과적인 가지치기가 가능해져 탐색 효율성이 향상된다.
• 이 접근 방식은 루프 융합, 스트립마이닝, 벡터화, 다중 수준 병렬성과 같은 기본적인 코드 구조 변경을 지원하며, 이는 GPU 고성능을 위해 필수적이다.
• 초기 결과에 따르면 자동으로 생성된 선형 대수 커널이 수작업 최적화된 네이티브 GPU 라이브러리와 경쟁력 있는 성능을 달성하거나 이를 초월한다.
• 이 프레임워크는 조기이고 정밀한 수익성 추정을 가능하게 하여, 부분적 구현 기반으로 전역 히우리스틱이 탐색을 이끌 수 있게 하며, 이는 전통적인 ILP나 SAT 기반 솔버에서는 구현이 어려운 일이다.
• 도메인 특화 언어와 코드 생성 파이프라인은 다양한 최적화 결정에 대한 빠른 프로토타이핑과 실험을 가능하게 하며, 확장성과 표현력이 뛰어나다는 것을 입증한다.