[论文解读] DeepProf: Performance Analysis for Deep Learning Applications via Mining GPU Execution Patterns

Jiazhen Gu, Huan Liu+2 more|arXiv (Cornell University)|Jul 12, 2017

Software System Performance and Reliability参考文献 20被引用 21

一句话总结

DeepProf 是一种新颖的性能分析工具，通过后缀树从 GPU 跟踪数据中提取重复的操作序列，挖掘深度学习应用中的 GPU 执行模式，实现性能瓶颈的自动化分析与诊断。该工具揭示了 TensorFlow 的关键执行特征，如 GPU 利用率模式，为系统配置与优化提供了可操作的洞察。

ABSTRACT

Deep learning applications are computation-intensive and often employ GPU as the underlying computing devices. Deep learning frameworks provide powerful programming interfaces, but the gap between source codes and practical GPU operations make it difficult to analyze the performance of deep learning applications. In this paper, through examing the features of GPU traces and deep learning applications, we use the suffix tree structure to extract the repeated patten in GPU traces. Performance analysis graphs can be generated from the preprocessed GPU traces. We further present exttt{DeepProf}, a novel tool to automatically process GPU traces and generate performance analysis reports for deep learning applications. Empirical study verifies the effectiveness of exttt{DeepProf} in performance analysis and diagnosis. We also find out some interesting properties of Tensorflow, which can be used to guide the deep learning system setup.

研究动机与目标

• 为解决由于高层代码与底层 GPU 操作之间抽象化导致的深度学习应用性能分析缺口。
• 使开发者即使在对底层 GPU 执行细节可见性有限的情况下，也能诊断 GPU 加速的深度学习工作负载中的性能问题。
• 开发一种自动化工具，处理原始 GPU 跟踪数据并生成可操作的性能分析报告。
• 通过 GPU 跟踪数据挖掘，揭示 TensorFlow 应用中的隐藏执行模式，为系统级优化提供指导。
• 将性能分析能力从以 CPU 为中心的工具扩展至原生 GPU 的深度学习工作负载。

提出的方法

• 使用后缀树挖掘 GPU 跟踪数据，识别重复的操作序列并提取与性能相关的模式。
• 通过模式识别将低层级 GPU 操作转换为更高层级、语义明确的执行单元。
• 从处理后的 GPU 跟踪数据生成性能分析图，以可视化执行瓶颈和低效行为。
• 利用 DeepProf 工具实现从原始 GPU 跟踪数据摄入到报告生成的端到端自动化处理流程。
• 利用从 TensorFlow 行为中推导出的执行规则，指导模式提取与跟踪数据简化。
• 在多种模型和 GPU 设备上应用该方法，以验证其通用性并揭示系统级洞察。

实验结果

研究问题

• RQ1 如何有效抽象深度学习应用中的 GPU 执行跟踪数据，以揭示关键性能模式？
• RQ2 TensorFlow GPU 跟踪数据中存在哪些重复的执行模式，以及如何实现其自动检测？
• RQ3 从 GPU 跟踪数据中进行模式挖掘，能否为深度学习开发者提供有意义的性能诊断与优化指导？
• RQ4 通过 GPU 跟踪数据分析，能够揭示 TensorFlow 的哪些底层执行特征？
• RQ5 所提出的方法在不同深度学习模型和 GPU 硬件配置下的泛化能力如何？

主要发现

• DeepProf 成功利用后缀树在深度学习工作负载中识别出重复的 GPU 操作模式，在保持性能语义的同时降低了跟踪数据的复杂性。
• 该工具生成可解释的性能分析报告，突出显示 GPU 执行中潜在的瓶颈和低效行为。
• 实证评估证实，DeepProf 在多种深度学习模型和 GPU 设备上均有效诊断出性能问题。
• 分析揭示了 TensorFlow 应用中一致的 GPU 利用率模式，如重复的内核启动和内存传输开销。
• 这些模式为系统设置提供了可操作的洞察，包括最优 GPU 选择和配置调优。
• DeepProf 是首个专门针对深度学习应用 GPU 跟踪分析的工具，填补了现有性能分析解决方案中的关键空白。