[论文解读] DiffSharp: Automatic Differentiation Library

Atılım Güneş Baydin, Barak A. Pearlmutter+1 more|arXiv (Cornell University)|Nov 24, 2015

Parallel Computing and Optimization Techniques参考文献 12被引用 5

一句话总结

DiffSharp 是一个为机器学习设计的高性能自动微分（AD）库，使用 F# 实现，支持前向和反向 AD 模式、通过标记实现的任意嵌套，以及线性代数原语。它能以极低的开销精确计算梯度、海森矩阵、雅可比矩阵和方向导数，利用 BLAS/LAPACK 后端，并支持未来的 GPU 加速。

ABSTRACT

In this paper we introduce DiffSharp, an automatic differentiation (AD) library designed with machine learning in mind. AD is a family of techniques that evaluate derivatives at machine precision with only a small constant factor of overhead, by systematically applying the chain rule of calculus at the elementary operator level. DiffSharp aims to make an extensive array of AD techniques available, in convenient form, to the machine learning community. These including arbitrary nesting of forward/reverse AD operations, AD with linear algebra primitives, and a functional API that emphasizes the use of higher-order functions and composition. The library exposes this functionality through an API that provides gradients, Hessians, Jacobians, directional derivatives, and matrix-free Hessian- and Jacobian-vector products. Bearing the performance requirements of the latest machine learning techniques in mind, the underlying computations are run through a high-performance BLAS/LAPACK backend, using OpenBLAS by default. GPU support is currently being implemented.

研究动机与目标

• 为现代机器学习工作负载提供灵活且高性能的 AD 库。
• 支持前向和反向 AD 模式的任意嵌套，以支持超梯度计算等高级优化技术。
• 提供一个函数式 API，强调高阶函数和组合，以实现模型的组合式构建。
• 将高效的线性代数操作与 AD 能力集成，最大限度减少计算开销。
• 通过编译时代码转换和稀疏性利用，支持未来的 GPU 加速和性能优化。

提出的方法

• 使用操作符重载结合 AD 增强的线性代数原语，在机器精度下计算导数。
• 采用标记机制防止嵌套 AD 计算中的扰动混淆。
• 与 OpenBLAS 集成以实现高性能的 BLAS/LAPACK 操作，并为非 BLAS 操作提供自定义并行实现。
• 提供一个函数式 API，支持梯度、海森矩阵、雅可比矩阵、方向导数和矩阵自由乘积。
• 利用 F# 的代码引用实现未来基于编译时源码转换的 AD，以减少运行时开销。
• 计划通过 CUDA 扩展支持 GPU，并利用图着色和压缩技术在矩阵中利用稀疏性。

实验结果

研究问题

• RQ1 如何在嵌套配置中高效且安全地组合自动微分，以支持机器学习？
• RQ2 使用反向和前向 AD 模式计算高阶导数和雅可比矩阵时，会产生多大的性能开销？
• RQ3 具有头等导数原语的函数式编程方法是否能实现更模块化和可组合的机器学习模型？
• RQ4 如何在高性能、可扩展的库中高效集成 AD 与线性代数操作？
• RQ5 在实际机器学习工作负载中，AD 的实际性能特征如何，特别是针对标量和向量值函数？

主要发现

• 对于亥姆霍兹能函数，反向模式 AD 的性能开销因子 ωr 随独立变量数 n 增加而渐近趋近于 2。
• 该库在梯度计算中实现了有界的计算开销，与‘廉价梯度原理’一致，即对于典型函数有 ωr ≤ 3。
• 通过基于标记的微分，实现了前向和反向 AD 的任意嵌套，且无扰动混淆问题。
• 函数式 API 支持优化算法、神经网络和概率模型的简洁、可组合实现。
• 通过与 OpenBLAS 集成以及为元素级操作提供自定义并行实现，显著提升了性能。
• 未来通过 F# 代码引用实现的编译时转换有望进一步降低运行时开销并简化用户代码。