[논문 리뷰] Building-Blocks for Performance Oriented DSLs

Tiark Rompf, Arvind K. Sujeeth외 5명|2011. 09. 05.

Parallel Computing and Optimization Techniques참고 문헌 49인용 수 23

한 줄 요약

이 논문은 이질적 하드웨어를 위한 고성능 임베디드 도메인특화언어(DSL)를 구축하는 것을 단순화하는 확장 가능한 툴킷인 Delite 프레임워크를 제시한다. Scala의 경량 모듈러 스테이징(LMS)을 활용하여, 고수준 추상화를 통해 효율적인 코드 생성과 적극적인 최적화를 가능하게 하며, 이는 CPU 및 GPU 플랫폼에서 기계학습 DSL인 OptiML에서 2.5배의 성능 향상을 입증하였다.

ABSTRACT

Domain-specific languages raise the level of abstraction in software development. While it is evident that programmers can more easily reason about very high-level programs, the same holds for compilers only if the compiler has an accurate model of the application domain and the underlying target platform. Since mapping high-level, general-purpose languages to modern, heterogeneous hardware is becoming increasingly difficult, DSLs are an attractive way to capitalize on improved hardware performance, precisely by making the compiler reason on a higher level. Implementing efficient DSL compilers is a daunting task however, and support for building performance-oriented DSLs is urgently needed. To this end, we present the Delite Framework, an extensible toolkit that drastically simplifies building embedded DSLs and compiling DSL programs for execution on heterogeneous hardware. We discuss several building blocks in some detail and present experimental results for the OptiML machine-learning DSL implemented on top of Delite.

연구 동기 및 목표

• 현대의 이질적 하드웨어(CPU, GPU, 클러스터 등)를 위한 고수준 코드를 효율적으로 컴파일하는 데 발생하는 도전 과제를 해결한다.
• 기존에 컴파일러, 병렬 처리, 타겟 아키텍처에 깊은 전문 지식이 필요한 병렬 처리 기반 DSL을 새로 구축하는 데 드는 복잡성과 노력의 감소를 목표로 한다.
• 구문 분석, 타입 체크, 코드 생성에 대한 일반적인 최적화된 빌딩 블록을 재사용함으로써 DSL 개발자가 도메인 특화 추상화에 집중할 수 있도록 한다.
• 데이터 병렬 및 태스크 병렬 실행 모델을 모두 지원하는 통합적이고 확장 가능한 인fra를 제공하여 다양한 하드웨어 플랫폼에서의 작동을 보장한다.
• 저수준의 하드웨어 특화 모델(CUDA, OpenMP 등)을 고수준의 이식성 있는 DSL로 대체함으로써 프로그래머의 생산성과 코드 유지보수성을 향상시킨다.

제안 방법

• Scala에서 경량 모듈러 스테이징(LMS)을 사용하여 DSL을 도메인 특화 라이브러리로 내장함으로써 코드 생성과 최적화에 대한 일급 지원을 제공한다.
• 타입 안정성과 오버로딩된 연산자, 고차원 타입을 활용하여 문법적 주석 없이도 스테이징된 표현식을 표현하고 조합한다.
• 호스트 언어(Scala) 내부에 컴파일러 파이프라인을 구축하여 도메인 인식 최적화를 깊이 있는 내재화와 스테이징 컴파일을 통해 수행한다.
• 태스크 병렬성과 데이터 병렬성을 CPU와 GPU 간에 투명하게 관리하는 통합 런타임과 통합한다.
• 도메인의 의미를 기반으로 한 도메인 특화 최적화(예: 루프 융합, 메모리 레이아웃 변환, 커널 특화)를 적용한다.
• 공통 중간 표현을 사용하여 고수준 DSL 구성 요소를 CPU 및 GPU용 최적화된 저수준 커널로 컴파일함으로써 이질적 코드 생성을 지원한다.

실험 결과

연구 질문

• RQ1 일반적인 컴파일러 인프라를 다시 구현하지 않고도, 이질적 아키텍처를 위한 고성능 컴파일러를 구축하는 데 드는 노력은 어떻게 줄일 수 있는가?
• RQ2 Scala에서의 경량 모듈러 스테이징(LMS)은 도메인 의미를 컴파일러에 노출시킴으로써 임베디드 DSL에서 공격적인 안정적 최적화를 얼마나 효과적으로 가능하게 하는가?
• RQ3 Delite와 같은 통합 프레임워크는 성능을 유지하면서도 CPU와 GPU에서 둘 다 데이터 병렬 및 태스크 병렬 워크로드를 효과적으로 지원할 수 있는가?
• RQ4 실제 워크로드에서 Delite로 구축된 DSL의 성능는 수작업 최적화된 저수준 구현과 비교해 볼 때 어떻게 되는가?
• RQ5 도메인 특화 지식은 DSL 컴파일러의 최적화 기회와 코드 생성 품질에 어떤 영향을 미치는가?

주요 결과

• Delite 프레임워크는 공통 컴파일러 인프라를 재사용함으로써 고성능 DSL의 개발 노력이 크게 감소함을 가능하게 한다.
• Delite 기반으로 개발된 기계학습 DSL인 OptiML은 CPU-GPU 시스템에서 기준 구현 대비 2.5배의 성능 향상을 달성하였다.
• LMS의 사용 덕분에 일반적인 컴파일러에서 구현이 어려웠던 루프 융합 및 메모리 레이아웃 변환과 같은 공격적인 최적화가 가능했다.
• Delite로 컴iles된 DSL들은 몇몇 기계학습 커널에서 수작업 최적화된 CUDA 코드와 유사한 성능을 달성하였으며, 하드웨어 플랫폼 간 이식성도 유지하였다.
• 프레임워크의 모듈러 설계 덕분에 확장성이 가능하여, 새로운 DSL은 기존 구성 요소를 확장함으로써 컴파일러를 다시 구현하지 않고도 구축할 수 있다.
• 고수준 추상화와 스테이징을 통한 저수준 코드 생성의 조합은 프로그래머의 생산성과 런타임 성능를 동시에 향상시켰다.