[论文解读] DaCe - Data-Centric Parallel Programming Framework

Tal Ben‐Nun, Johannes de Fine Licht+3 more|arXiv (Cornell University)|May 10, 2019

Parallel Computing and Optimization Techniques被引用 8

一句话总结

该论文提出了状态数据流多图（SDFG），一种以数据为中心的中间表示形式，将科学计算代码与底层优化解耦，从而实现跨 CPU、GPU 和 FPGA 的性能可移植性。通过在 SDFG 上应用可扩展的图变换（如分块和双缓冲），领域科学家无需修改其原始代码即可实现接近峰值性能的硬件性能。

ABSTRACT

DaCe compiles code in various programming languages and paradigms (Python/Numpy, MATLAB, TensorFlow) and maps it efficiently to CPUs, GPUs, and FPGAs with high utilization, on par with the state-of-the-art. The key feature driving DaCe is its Stateful DataFlow multiGraph (SDFG) <em>data-centric intermediate representation</em>: A transformable, interactive representation of code based on data movement. With data-centric parallel programming, we enable direct knowledge transfer of performance optimization, regardless of the scientific application or the target processor. DaCe can be written inline in Python and transformed in the command-line, or SDFGs can be interactively modified using the Data-centric Interactive Optimization Development Environment (DIODE). The latest version of the code can be found at https://github.com/spcl/dace<br>

研究动机与目标

• 解决为 GPU 和 FPGA 等异构架构编写高性能、可移植代码日益增长的复杂性问题。
• 将领域科学家的高层代码与底层性能优化解耦，降低维护负担。
• 使性能工程师能够通过在中间表示上应用变换来优化代码，而无需改变原始科学逻辑。
• 实现性能可移植性，使同一段代码在不同硬件平台上均能实现高性能。

提出的方法

• 将科学计算代码表示为状态数据流多图（SDFG），以捕获细粒度的数据依赖关系和高层控制流。
• 使用图重写和模式匹配技术，应用程序变换如分块、双缓冲和循环融合。
• 采用图形用户界面和可扩展的 API，实现对 SDFG 的交互式、增量式优化。
• 通过轻量级运行时和架构特定的代码生成，将 SDFG 编译为 CPU、GPU 和 FPGA 的优化二进制代码。
• 将领域代码（Python/MATLAB）与性能调优分离，性能调优仅在 SDFG 表示上进行。
• 利用数据流追踪和 Memlet 驱动的数据移动建模，实现对数据局部性和移动性的精确优化。

实验结果

研究问题

• RQ1 以数据为中心的中间表示能否在不修改原始科学代码的前提下，实现跨 CPU、GPU 和 FPGA 的性能可移植性？
• RQ2 基于 SDFG 的变换（如分块和双缓冲）在异构架构上的性能提升效果如何？
• RQ3 性能工程师在不深入掌握领域特定数学知识的情况下，通过 SDFG 变换优化代码的潜力有多大？
• RQ4 SDFG 能否表达并优化从内核到图分析的广泛计算模式，并实现具有竞争力的性能？

主要发现

• SDFG 实现了性能可移植性：同一段科学代码在不修改的情况下，可在 CPU、GPU 和 FPGA 上实现具有竞争力的性能。
• SDFG 框架使性能工程师能够通过基于图的变换，在所有三种目标架构上实现接近峰值性能。
• 在 SDFG 上应用的分块和双缓冲变换显著提升了不同硬件上的数据局部性，并隐藏了内存延迟。
• 该方法在保持领域科学家代码可读性的同时，通过独立的、优化后的 SDFG 表示实现了高性能编译。
• 该框架支持广泛的计算模式，包括基础内核和图分析，展现出广泛的适用性。
• 领域科学家与性能工程师之间的职责分离降低了代码维护开销，并避免了在新架构上进行完整重实现的需求。