[论文解读] A Language for Describing Optimization Strategies

Bastian Hagedorn, Johannes Lenfers+3 more|arXiv (Cornell University)|Feb 6, 2020

Parallel Computing and Optimization Techniques参考文献 37被引用 4

一句话总结

本文提出了 Elevate，一种功能型策略语言，使程序员能够为高性能代码生成定义自定义、可组合的优化策略。通过使用 Elevate 的头等抽象组合重写规则来表达优化，该系统在性能上与 Halide 和 TVM 等价——在深度学习工作负载中，最高速度提升达 110 倍——同时提供超越固定 API 调度器的完整控制与可扩展性。

ABSTRACT

Optimizing programs to run efficiently on modern parallel hardware is hard but crucial for many applications. The predominantly used imperative languages - like C or OpenCL - force the programmer to intertwine the code describing functionality and optimizations. This results in a nightmare for portability which is particularly problematic given the accelerating trend towards specialized hardware devices to further increase efficiency. Many emerging DSLs used in performance demanding domains such as deep learning, automatic differentiation, or image processing attempt to simplify or even fully automate the optimization process. Using a high-level - often functional - language, programmers focus on describing functionality in a declarative way. In some systems such as Halide or TVM, a separate schedule specifies how the program should be optimized. Unfortunately, these schedules are not written in well-defined programming languages. Instead, they are implemented as a set of ad-hoc predefined APIs that the compiler writers have exposed. In this paper, we present Elevate: a functional language for describing optimization strategies. Elevate follows a tradition of prior systems used in different contexts that express optimization strategies as composition of rewrites. In contrast to systems with scheduling APIs, in Elevate programmers are not restricted to a set of built-in optimizations but define their own optimization strategies freely in a composable way. We show how user-defined optimization strategies in Elevate enable the effective optimization of programs expressed in a functional data-parallel language demonstrating competitive performance with Halide and TVM.

研究动机与目标

• 解决现有调度 API（如 Halide 和 TVM 中的）在可扩展性和可组合性方面的不足，这些 API 限制用户仅能使用一组固定的内建优化。
• 通过将算法描述与底层优化决策解耦，实现在多样且专用硬件上的性能可移植性。
• 提供一种原则化、可组合且可扩展的策略语言，用于将复杂的优化流水线表达为重写规则的序列。
• 证明 Elevate 中用户定义的优化策略可扩展至真实世界、高性能的工作负载，如深度学习内核。

提出的方法

• Elevate 设计为一种功能型语言，通过高阶组合子组合优化策略，实现模块化和可重用的优化定义。
• 优化策略以应用于函数式数据并行程序中间表示的重写规则序列为表达方式。
• 该系统支持用户自定义抽象和领域特定优化，允许在标准编译器转换之外进行扩展。
• Elevate 与 Rise 功能语言集成，并通过代码生成编译为 C，使用标准编译标志进行性能对比。
• 该方法利用具有清晰语义的项重写，避免了现有调度 API 中常见的启发式和隐式行为。
• 策略通过受控的、确定性的重写过程系统性地应用，避免了先前系统（如 Lift）中使用的随机搜索。

实验结果

研究问题

• RQ1 是否可以使用功能型策略语言来表达复杂且高性能的优化策略，使其性能达到或超过手调优系统（如 Halide 和 TVM）？
• RQ2 Elevate 中用户定义的优化策略在多大程度上能实现跨不同硬件平台的性能可移植性？
• RQ3 与 Halide 和 TVM 等系统中的固定 API 调度相比，Elevate 在可组合性和可扩展性方面的优化方法在表达力和控制力方面有何差异？
• RQ4 Elevate 是否能扩展至真实世界的工作负载（如深度学习内核），并实现与最先进框架相当的性能？

主要发现

• Elevate 支持定义可组合、可扩展且完全由用户控制的自定义优化策略，克服了 Halide 和 TVM 中固定 API 调度器的局限性。
• 该系统成功生成了性能与 Halide 和 TVM 相当的代码，其中一个经优化的 Rise 生成版本相比基线代码实现了 110 倍的性能提升。
• Elevate 的策略语言通过 150,000 次重写步骤支持复杂的优化流水线，包括分块、向量化和并行化，适用于深度学习工作负载。
• 在使用相同优化配置时，Elevate 生成代码的性能与 TVM 相当，如在 Intel i5-4670K CPU 上使用一致编译标志所验证的。
• Elevate 的方法提供了清晰的语义，避免了隐式或默认行为，使专家能够完全控制优化过程。