[论文解读] Automatic differentiation in machine learning: a survey

Shaikhha, Amir, Barak A. Pearlmutter|arXiv (Cornell University)|Feb 20, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用 843

一句话总结

本综述全面概述了机器学习中的自动微分（AD），阐明了其与数值微分和符号微分的区别。它解释了AD如何通过前向和反向累积模式实现精确、高效的梯度计算，并主张将其作为现代机器学习框架中的基础工具，以实现具有任意控制流的复杂模型的端到端微分。

ABSTRACT

Derivatives, mostly in the form of gradients and Hessians, are ubiquitous in machine learning. Automatic differentiation (AD), also called algorithmic differentiation or simply "autodiff", is a family of techniques similar to but more general than backpropagation for efficiently and accurately evaluating derivatives of numeric functions expressed as computer programs. AD is a small but established field with applications in areas including computational fluid dynamics, atmospheric sciences, and engineering design optimization. Until very recently, the fields of machine learning and AD have largely been unaware of each other and, in some cases, have independently discovered each other's results. Despite its relevance, general-purpose AD has been missing from the machine learning toolbox, a situation slowly changing with its ongoing adoption under the names "dynamic computational graphs" and "differentiable programming". We survey the intersection of AD and machine learning, cover applications where AD has direct relevance, and address the main implementation techniques. By precisely defining the main differentiation techniques and their interrelationships, we aim to bring clarity to the usage of the terms "autodiff", "automatic differentiation", and "symbolic differentiation" as these are encountered more and more in machine learning settings.

研究动机与目标

• 阐明在机器学习背景下，自动微分与数值微分和符号微分在概念和工程上的根本区别。
• 展示自动微分如何在具有复杂控制流和大规模参数空间的模型中实现精确且高效的梯度计算。
• 倡导将通用自动微分集成到机器学习工具包的核心中，以取代临时或手动的导数计算方法。
• 通过突出两个社区的共同问题和相互益处，弥合机器学习与自动微分社区之间的鸿沟。
• 识别未来研究的关键机遇，包括嵌套AD、高阶导数，以及来自AD文献的性能优化技术。

提出的方法

• 使用自动微分的前向和反向累积模式，计算以计算机程序形式表达的数值函数的精确导数。
• 将AD解释为代码的非标准解释，其中变量被扩展为携带导数值，操作符被重新定义以通过链式法则传播导数。
• 将AD与数值微分（有限差分）和符号微分（表达式操作）进行比较，强调AD在精度和效率上的优势。
• 回顾实现技术：操作符重载、源码转换和抽象解释，每种方法在表达能力和性能之间存在不同的权衡。
• 突出现代AD框架（如autograd、Chainer和PyTorch）使用操作符重载和动态计算图，实现可微编程。
• 讨论高级AD技术，如磁带压缩、基于矩阵着色的稀疏性利用，以及检查点技术，以实现内存高效的反向模式。

实验结果

研究问题

• RQ1 在机器学习背景下，自动微分与数值微分和符号微分的根本区别是什么？
• RQ2 通用自动微分的关键实现策略是什么？它们如何影响性能和表达能力？
• RQ3 尽管在其他科学计算领域已有长期应用，为何自动微分在机器学习中仍被低估和未充分使用？
• RQ4 如何扩展自动微分以支持高阶导数和嵌套微分，以实现超参数优化？
• RQ5 来自AD文献的哪些性能优化技术可被利用以提高现代机器学习模型的训练效率和收敛性？

主要发现

• 自动微分在仅增加少量常数因子开销的前提下，以机器精度计算精确导数，其精度和可扩展性远超有限差分方法。
• 反向模式AD在数学上等价于反向传播，并对其进行了推广，使在拥有数百万参数的深度神经网络中高效计算梯度成为可能。
• 基于操作符重载的AD框架（如autograd和PyTorch）可无缝对任意Python代码（含循环、条件语句和递归）进行微分，从而实现可微编程。
• 嵌套自动微分可精确计算超梯度——即训练目标对超参数的导数——从而支持高级优化和模型选择。
• 通过矩阵着色技术利用稀疏性，以及采用反向模式检查点技术，可显著降低大规模AD应用中的内存使用并提升性能。
• 将AD集成到现代机器学习框架中，已实现快速原型设计，并推动了依赖高阶导数和复杂控制流的新颖模型的发展。