[论文解读] Forward- or Reverse-Mode Automatic Differentiation: What's the Difference?

Birthe van den Berg, Tom Schrijvers+2 more|arXiv (Cornell University)|Dec 21, 2022

Formal Methods in Verification被引用 4

一句话总结

本文通过在函数式编程环境中使用半环语义形式化实现，阐明了前向模式与反向模式自动微分（AD）之间的区别。它表明，这两种模式自然地源于不同的半环结构——前向模式对应于对偶数半环，反向模式则源于对偶数的对偶。该研究为函数式语言中的自动微分提供了统一且数学严谨的基础。

ABSTRACT

Automatic differentiation (AD) has been a topic of interest for researchers in many disciplines, with increased popularity since its application to machine learning and neural networks. Although many researchers appreciate and know how to apply AD, it remains a challenge to truly understand the underlying processes. From an algebraic point of view, however, AD appears surprisingly natural: it originates from the differentiation laws. In this work we use Algebra of Programming techniques to reason about different AD variants, leveraging Haskell to illustrate our observations. Our findings stem from three fundamental algebraic abstractions: (1) the notion of module over a semiring, (2) Nagata's construction of the 'idealization of a module', and (3) Kronecker's delta function, that together allow us to write a single-line abstract definition of AD. From this single-line definition, and by instantiating our algebraic structures in various ways, we derive different AD variants, that have the same extensional behaviour, but different intensional properties, mainly in terms of (asymptotic) computational complexity. We show the different variants equivalent by means of Kronecker isomorphisms, a further elaboration of our Haskell infrastructure which guarantees correctness by construction. With this framework in place, this paper seeks to make AD variants more comprehensible, taking an algebraic perspective on the matter.

研究动机与目标

• 阐明前向模式与反向模式自动微分在概念与实现层面的差异。
• 在函数式编程范式中，使用半环结构形式化两种AD模式。
• 证明前向模式AD对应于对偶数半环，而反向模式AD源于对偶数的对偶。
• 通过代数抽象，为实现两种AD模式提供统一且类型安全的框架。
• 通过形式化语义，特别是在强类型系统下的函数式语言中，实现对AD更优的推理能力。

提出的方法

• 将对偶数表示为半环（Expr v），包含加法与乘法运算。
• 通过标准对偶数半环定义前向模式AD，其中每个值携带一个导数分量。
• 通过“对偶数的对偶”建模反向模式AD，其中导数以逆序方式累积。
• 通过类型级别的区分，编码半环运算（⊕ 表示加法，⊗ 表示乘法），以支持两种模式。
• 利用半环实例，通过代数结构而非命令式控制流，推导出前向与反向AD行为。
• 利用函数式编程抽象确保正确性，并避免AD实现中的常见陷阱。

实验结果

研究问题

• RQ1 前向模式与反向模式自动微分在其底层代数结构上存在何种差异？
• RQ2 能否通过半环语义，将两种AD模式统一于单一语义框架之下？
• RQ3 在函数式环境中，对偶数的对偶在实现反向模式AD中扮演何种角色？
• RQ4 如何利用半环语义，以类型安全且可组合的方式实现两种AD模式？
• RQ5 使用代数结构对AD系统中的正确性与性能推理有何影响？

主要发现

• 前向模式AD自然地通过“对偶数半环”建模，其中每个值在求值过程中携带一个导数分量。
• 反向模式AD源于“对偶数的对偶”，通过逆向遍历实现梯度的高效累积。
• 两种模式的根本区别在于代数结构，源于半环结构的选择，而非算法设计。
• 半环抽象使得两种模式可在同一函数式框架中实现，且类型安全性由编译器强制保证。
• 该方法为函数式语言中的自动微分提供了数学上严谨且可组合的基础，显著降低实现错误。
• 形式化表明，反向模式AD并非独立算法，而是前向模式AD在半环框架下的对偶构造。