[论文解读] DiffSharp: An AD Library for .NET Languages

Atılım Güneş Baydin, Barak A. Pearlmutter+2 more|arXiv (Cornell University)|Nov 10, 2016

Parallel Computing and Optimization Techniques参考文献 6被引用 11

一句话总结

DiffSharp 是一个为 .NET 语言实现的高性能、基于函数式编程的算法微分（AD）库，使用 F# 编写，专为机器学习工作负载设计。它提供嵌套的高阶函数式 API，支持前向和反向 AD，具备基于 BLAS/LAPACK 的高效线性代数运算，并通过操作符重载支持可扩展性，未来还将支持源码转换和 GPU 后端。

ABSTRACT

DiffSharp is an algorithmic differentiation or automatic differentiation (AD) library for the .NET ecosystem, which is targeted by the C# and F# languages, among others. The library has been designed with machine learning applications in mind, allowing very succinct implementations of models and optimization routines. DiffSharp is implemented in F# and exposes forward and reverse AD operators as general nestable higher-order functions, usable by any .NET language. It provides high-performance linear algebra primitives---scalars, vectors, and matrices, with a generalization to tensors underway---that are fully supported by all the AD operators, and which use a BLAS/LAPACK backend via the highly optimized OpenBLAS library. DiffSharp currently uses operator overloading, but we are developing a transformation-based version of the library using F#'s "code quotation" metaprogramming facility. Work on a CUDA-based GPU backend is also underway.

研究动机与目标

• 为 .NET 生态系统提供一个高性能、可组合的 AD 库，尤其适用于机器学习应用。
• 实现算法微分在 F# 和 C# 等函数式与命令式 .NET 语言中的无缝集成。
• 通过前向和反向模式，高效计算梯度、雅可比矩阵和海森矩阵。
• 构建模块化、可扩展的 AD 基础设施，支持未来扩展 GPU 和张量功能。

提出的方法

• 在 F# 中使用高阶函数式编程，将 AD 暴露为一等公民、可组合的函数。
• 采用数组结构（structure-of-arrays）表示向量和矩阵，以支持通过 BLAS/LAPACK 后端实现高效的向量化 AD。
• 通过柯里化、可嵌套的操作符（如 jacobianTv'' 和 hessian）实现前向和反向 AD，支持模块化的导数计算。
• 通过操作符重载支持即用型接口，计划未来通过 F# 代码表达式（code quotations）实现源码转换以提升性能。
• 提供后端抽象，支持集成优化后的后端，包括 OpenBLAS 和正在开发的 CUDA 后端。
• 使用值标签（value tagging）防止嵌套 AD 操作中的扰动混淆（perturbation confusion）。

实验结果

研究问题

• RQ1 如何在 .NET 语言中有效且高效地将算法微分暴露为可组合的、函数式的 API？
• RQ2 在嵌套 AD 计算中，特别是在存在扰动混淆的情况下，能够实现怎样的性能和正确性保证？
• RQ3 通过优化的线性代数后端和向量化操作，AD 性能可以提升到何种程度？
• RQ4 一个函数式、高阶的 AD 库是否能在函数式和命令式 .NET 语言中同时实现用户友好性和高性能？
• RQ5 如何扩展 AD 基础设施以支持现代机器学习工作负载，包括深度学习和 GPU 加速？

主要发现

• DiffSharp 提供了正确且高性能的 AD 实现，通过在嵌套导数计算中使用值标签，有效避免了扰动混淆。
• 向量和矩阵的数组结构表示法支持高效的 AD 向量化，性能主要由外部 BLAS/LAPACK 调用决定。
• 通过函数式、高阶 API 实现了高度的可用性和模块化，支持 AD 操作符的柯里化和嵌套。
• 基准测试显示 AD 运行时开销极低，性能高度依赖于 OpenBLAS 等优化后端。
• 计划通过 F# 代码表达式实现源码转换，预计将显著提升性能并简化 API。
• 基于 CUDA 和 cuDNN 的 GPU 后端正在开发中，目标是支持 GPU 上的高性能深度学习工作负载。