[论文解读] Daydream: Accurately Estimating the Efficacy of Optimizations for {DNN} Training

Hongyu Zhu, Amar Phanishayee+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用 12

一句话总结

Daydream 是一种性能分析工具，通过从低层级 CUPTI 跟踪数据派生的细粒度依赖图来建模执行过程，从而预测 DNN 优化对性能的影响。它使用领域特定的图转换技术来模拟各种优化，并在不同软硬件配置下准确预测性能提升。

ABSTRACT

Modern deep neural network (DNN) training jobs use complex and heterogeneous software/hardware stacks. The efficacy of software-level optimizations can vary significantly when used in different deployment configurations. It is onerous and error-prone for ML practitioners and system developers to implement each optimization separately, and determine which ones will improve performance in their own configurations. Unfortunately, existing profiling tools do not aim to answer predictive questions such as How will optimization X affect the performance of my model?. We address this critical limitation, and proposes a new profiling tool, Daydream, to help programmers efficiently explore the efficacy of DNN optimizations. Daydream models DNN execution with a fine-grained dependency graph based on low-level traces collected by CUPTI, and predicts runtime by simulating execution based on the dependency graph. Daydream maps the low-level traces using DNN domain-specific knowledge, and introduces a set of graph-transformation primitives that can easily model a wide variety of optimizations. We show that Daydream is able to model most mainstream DNN optimization techniques, and accurately predict the efficacy of optimizations that will result in significant performance improvements.

研究动机与目标

• 解决缺乏能够回答“优化 X 将如何影响我模型性能？”这类问题的预测性性能分析工具的问题，以应对 DNN 训练中的挑战。
• 减少在不同部署配置下孤立测试每种优化时所需的手动操作和出错风险。
• 使系统开发者和机器学习从业者能够在不实际部署每种变体的情况下，高效探索优化效果。
• 在实际部署优化之前，提供准确且具有预测性的性能提升洞察。

提出的方法

• 从通过 CUPTI 收集的低层级硬件性能跟踪数据中构建细粒度依赖图。
• 利用领域特定知识将低层级 CUPTI 跟踪数据映射到 DNN 特定操作，以支持语义建模。
• 引入一组图转换原语，用于建模多种优化技术，如内核融合和内存布局变更。
• 在转换后的依赖图上模拟 DNN 执行过程，以预测运行时间和性能提升。
• 利用依赖图将性能变化在计算图中传播，从而准确预测优化的影响。
• 通过在仿真模型中编码硬件和软件栈特性，支持跨配置的预测。

实验结果

研究问题

• RQ1 是否有一种性能分析工具可以在无需实际在目标配置中部署的情况下，预测 DNN 优化对性能的影响？
• RQ2 基于低层级跟踪数据和依赖图的仿真方法，在多大程度上能够准确预测真实世界中的性能提升？
• RQ3 统一的图转换框架在多大程度上能够建模广泛的 DNN 优化技术？
• RQ4 Daydream 在不同软硬件配置下的预测准确性如何？

主要发现

• Daydream 能够在多种 DNN 模型和硬件配置下准确预测优化带来的性能提升。
• 该工具通过使用从 CUPTI 跟踪数据派生的细粒度依赖图来建模 DNN 执行过程，实现了高预测准确性。
• 图转换原语能够建模大多数主流 DNN 优化技术，包括内核融合和内存访问优化。
• Daydream 通过在实际执行前提供可靠的预测性洞察，减少了对反复试错式优化部署的需求。