[论文解读] Building-Blocks for Performance Oriented DSLs

Tiark Rompf, Arvind K. Sujeeth+5 more|Sep 5, 2011

Parallel Computing and Optimization Techniques参考文献 49被引用 23

一句话总结

本文提出了 Delite 框架，这是一个可扩展的工具包，可简化为异构硬件构建高性能嵌入式领域特定语言（DSL）的过程。通过在 Scala 中利用轻量级模块化编程（LMS），Delite 能够通过高级抽象实现高效的代码生成和激进的优化，已在 OptiML（一个机器学习 DSL）上实现 CPU 和 GPU 平台上的 2.5 倍性能提升。

ABSTRACT

Domain-specific languages raise the level of abstraction in software development. While it is evident that programmers can more easily reason about very high-level programs, the same holds for compilers only if the compiler has an accurate model of the application domain and the underlying target platform. Since mapping high-level, general-purpose languages to modern, heterogeneous hardware is becoming increasingly difficult, DSLs are an attractive way to capitalize on improved hardware performance, precisely by making the compiler reason on a higher level. Implementing efficient DSL compilers is a daunting task however, and support for building performance-oriented DSLs is urgently needed. To this end, we present the Delite Framework, an extensible toolkit that drastically simplifies building embedded DSLs and compiling DSL programs for execution on heterogeneous hardware. We discuss several building blocks in some detail and present experimental results for the OptiML machine-learning DSL implemented on top of Delite.

研究动机与目标

• 解决现代异构硬件（CPU、GPU、集群）高效编译高级代码的日益增长的挑战。
• 降低从零开始构建面向性能的 DSL 所需的复杂性和工作量，传统上这需要深入掌握编译器、并行计算和目标架构知识。
• 通过重用常见且经过优化的构建块（如解析、类型检查和代码生成），使 DSL 开发者能够专注于领域特定的抽象。
• 提供统一且可扩展的基础设施，支持在多种硬件平台上同时支持数据并行和任务并行执行模型。
• 通过用高级、可移植的 DSL 替代低级、硬件特定的模型（如 CUDA、OpenMP），提升程序员的生产力和代码可维护性。

提出的方法

• 使用 Scala 中的轻量级模块化编程（LMS）将 DSL 嵌入为具有原生代码生成和优化支持的领域特定库。
• 利用类型安全的重载操作符和高阶类型来表示和组合带阶段标记的表达式，而无需语法注解。
• 在宿主语言（Scala）内构建编译器流水线，通过深度嵌入和阶段编译执行领域感知优化。
• 与统一运行时集成，透明地管理跨 CPU 和 GPU 的任务并行和数据并行。
• 利用领域语义知识应用领域特定优化，如循环融合、内存布局转换和内核特化。
• 通过通用中间表示，将高级 DSL 构construct 编译为 CPU 和 GPU 的优化低级内核，实现异构代码生成。

实验结果

研究问题

• RQ1 DSL 开发者如何在不重新实现通用编译基础设施的前提下，减少为异构架构构建高性能编译器的工作量？
• RQ2 Scala 中的轻量级模块化编程（LMS）在多大程度上能够通过向编译器暴露领域语义，实现激进且安全的优化？
• RQ3 像 Delite 这样的统一框架能否在保持高性能的同时，有效支持 CPU 和 GPU 上的数据并行和任务并行工作负载？
• RQ4 在真实工作负载中，使用 Delite 构建的 DSL 性能与手写优化的低级实现相比如何？
• RQ5 领域特定知识对优化机会和 DSL 编译器代码生成质量有何影响？

主要发现

• Delite 框架通过重用通用编译基础设施，显著减少了开发高性能 DSL 的工作量。
• 基于 Delite 构建的机器学习 DSL OptiML 在 CPU-GPU 系统上执行时，相比基线实现实现了 2.5 倍的性能提升。
• LMS 的使用使得实现了诸如循环融合和内存布局转换等激进优化，这些优化在通用编译器中难以实现。
• 使用 Delite 编译的 DSL 在多个机器学习内核中实现了与手写优化 CUDA 代码相当的性能，同时保持了跨硬件平台的可移植性。
• 该框架的模块化设计支持可扩展性，允许通过扩展现有组件而非从零实现编译器来构建新 DSL。
• 高级抽象与通过阶段生成的低级代码相结合，实现了程序员生产力和高运行时性能的双重提升。