[论文解读] DeepDSL: A Compilation-based Domain-Specific Language for Deep Learning

Tian Zhao, Xiao Bing Huang+1 more|arXiv (Cornell University)|Jan 9, 2017

Multimodal Machine Learning Applications被引用 3

一句话总结

DeepDSL 是一种嵌入在 Scala 中的领域特定语言，通过两阶段优化流水线将深度神经网络编译为高效、可移植且可定制的 Java 源代码。它支持符号梯度推导、静态内存分析，并通过 JNI 实现对 CUDA 的代码生成，相较于 Caffe 和 TensorFlow，运行时性能具有竞争力，且在 GPU 内存受限的情况下展现出更优的内存效率。

ABSTRACT

In recent years, Deep Learning (DL) has found great success in domains such as multimedia understanding. However, the complex nature of multimedia data makes it difficult to develop DL-based software. The state-of-the art tools, such as Caffe, TensorFlow, Torch7, and CNTK, while are successful in their applicable domains, are programming libraries with fixed user interface, internal representation, and execution environment. This makes it difficult to implement portable and customized DL applications. In this paper, we present DeepDSL, a domain specific language (DSL) embedded in Scala, that compiles deep networks written in DeepDSL to Java source code. Deep DSL provides (1) intuitive constructs to support compact encoding of deep networks; (2) symbolic gradient derivation of the networks; (3) static analysis for memory consumption and error detection; and (4) DSL-level optimization to improve memory and runtime efficiency. DeepDSL programs are compiled into compact, efficient, customizable, and portable Java source code, which operates the CUDA and CUDNN interfaces running on Nvidia GPU via a Java Native Interface (JNI) library. We evaluated DeepDSL with a number of popular DL networks. Our experiments show that the compiled programs have very competitive runtime performance and memory efficiency compared to the existing libraries.

研究动机与目标

• 解决现有深度学习库在接口、表示和执行环境方面固定不变的局限性，从而限制可移植性和可定制性。
• 使开发者能够在强类型语言（Scala）中以高层张量函数的形式定义深度网络，提升代码安全性和可维护性。
• 通过静态分析实现早期错误检测和内存消耗估算，防止运行时故障（如内存溢出异常）。
• 生成紧凑、人类可读且可定制的 Java 源代码，通过 JNI 在任何支持 CUDA 的平台上运行。
• 通过静态调度张量释放和运行时优化提升内存效率，使相同 GPU 上的批量大小超过 Caffe 或 TensorFlow。

提出的方法

• 在 Scala 中将深度学习构造作为领域特定抽象进行封装，将张量表示为索引标量表达式，以在 DSL 层次暴露计算细节。
• 对张量函数执行符号梯度推导，自动生成反向传播逻辑，且无运行时开销。
• 应用两阶段优化：第一阶段在表达式级别（简化、循环合并、代码移动、向量化），第二阶段在静态单赋值（SSA）形式下进行公共子表达式消除和内联。
• 通过单次遍历、基于字符串的代码生成器生成目标 Java 源代码，生成的代码可读性强、模块化，且独立于 DSL 表达式。
• 与 JCuda 集成，通过 JNI 调用 CUDA 内核，实现在保持 JVM 平台独立性的前提下实现 GPU 加速。
• 实现静态内存分析，以预测每层的运行时内存使用量，并重新调度张量释放以最小化峰值内存消耗。

实验结果

研究问题

• RQ1 能否在像 Scala 这样的通用语言中嵌入领域特定语言，实现在深度学习中具有竞争力的性能和内存效率，同时实现完全可定制化？
• RQ2 在深度学习 DSL 中，静态分析在编译前检测设计错误和估算内存消耗方面的有效性如何？
• RQ3 与现有深度学习库相比，两阶段优化流水线在提升内存效率和运行时性能方面能达到何种程度？
• RQ4 基于编译的 DSL 是否能够生成可移植、人类可读且可定制的 Java 代码，实现在不同平台上高效运行于 GPU？
• RQ5 优化与代码生成的分离如何提升深度学习 DSL 的可扩展性和可维护性？

主要发现

• DeepDSL 生成的 Java 代码在运行时性能和内存效率方面表现优异，在内存受限场景下优于 Caffe 和 TensorFlow。
• DeepDSL 中的静态内存分析通过预测和优化内存使用，成功防止了内存溢出错误，使在单张 GPU 上训练 ResNet 时批量大小达到 64 成为可能，而 Caffe 和 TensorFlow 则失败。
• 两阶段优化流水线——表达式级别的简化和基于 SSA 的优化——有效实现了代码移动、公共子表达式消除和内联，从而同时提升了内存和运行时效率。
• 生成的 Java 代码紧凑、人类可读且可定制，开发者可使用标准 IDE 或文本编辑器对实现进行修改或扩展。
• DSL 表达式操作与代码生成的分离使得优化技术与目标语言后端可独立演进，显著提升了可维护性和可扩展性。
• 尽管复杂网络（如 ResNet）的编译时间可能长达数分钟，但生成的代码高度优化，适用于部署和进一步调优。