[论文解读] On the Equivalence of Forward Mode Automatic Differentiation and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|Jan 1, 2019

Advanced Control Systems Optimization参考文献 18被引用 2

一句话总结

本文证明前向模式自动微分（AD）与符号微分在数学上是等价的，二者在计算导数时执行完全相同的运算。它挑战了广泛存在的观点，即符号微分存在表达式膨胀而自动微分不会，表明在相同条件下，两种方法都会面临相同的表示膨胀问题。

ABSTRACT

We show that forward mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from expression swell whereas automatic differentiation does not. Here, we show that this statement is not true. Expression swell refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

研究动机与目标

• 挑战人们普遍认为前向模式自动微分与符号微分在计算行为上存在根本差异的观点。
• 探究符号微分是否如常被声称的那样，确实存在表达式膨胀问题，而自动微分则不会。
• 在导数计算过程中，建立两种方法在操作序列上的正式等价性。
• 澄清文献中关于符号微分与自动微分在可扩展性与表示效率方面的误解。

提出的方法

• 作者对同一数学表达式上的前向模式AD与符号微分的计算步骤进行形式化比较。
• 他们分析了两种方法执行的算术与导数运算序列，表明其操作树完全相同。
• 分析重点在于中间表达式的表示，特别是导数形式的大小与复杂度。
• 他们将“表达式膨胀”定义为导数表示相对于原函数的大小增加，并在两种方法下进行评估。
• 通过证明两种方法生成相同的中间表达式并以相同顺序执行相同操作，展示了其等价性。
• 该研究使用计算的正式模型表明，两者唯一的区别仅在于实现策略，而非底层数学过程。

实验结果

研究问题

• RQ1 当计算导数时，前向模式自动微分与符号微分在计算行为上是否真的不同？
• RQ2 如常被断言的那样，符号微分是否固有地存在表达式膨胀，而前向模式AD则避免了这一问题？
• RQ3 在相同条件下，能否证明符号微分与前向模式AD的导数表示大小是等价的？
• RQ4 在实践中，符号微分与自动微分之间感知差异的实际来源是什么？
• RQ5 符号微分与自动微分之间的区别是基于数学原理，还是实现启发式方法？

主要发现

• 前向模式自动微分与符号微分在计算同一函数的导数时，执行完全相同的运算。
• 当两种方法在相同条件下应用时，声称符号微分存在表达式膨胀而自动微分不会，这一说法是错误的。
• 表达式膨胀并非符号微分的固有属性，而是表示选择的结果，而两种方法都面临这一问题。
• 在操作序列与中间表达式结构方面，两种方法在数学上是等价的。
• 两者之间的感知差异并非源于计算行为，而是实现细节与表示管理方式的不同。
• 在两种方法均适用的所有可微函数中，只要采用标准求值顺序与表达式简化规则，这种等价性即成立。