[论文解读] Evolving the Incremental Lambda Calculus into a Model of Forward Automatic Differentiation (AD)

Robert Kelly, Barak A. Pearlmutter+1 more|arXiv (Cornell University)|Nov 10, 2016

Logic, programming, and type systems参考文献 5被引用 7

一句话总结

该论文通过将有限变化转换为幂级数并捆绑原始值与切线值，将增量λ演算（ILC）演进为前向自动微分（AD）的正式模型。该方法实现了正确性与效率的机器可验证证明，最终构建了一个基于双数的前向AD系统，采用非柯里化的捆绑输出，满足链式法则。

ABSTRACT

Formal transformations somehow resembling the usual derivative are surprisingly common in computer science, with two notable examples being derivatives of regular expressions and derivatives of types. A newcomer to this list is the incremental λ-calculus, or ILC, a "theory of changes" that deploys a formal apparatus allowing the automatic generation of efficient update functions which perform incremental computation. The ILC is not only defined, but given a formal machine-understandable definition---accompanied by mechanically verifiable proofs of various properties, including in particular correctness of various sorts. Here, we show how the ILC can be mutated into propagating tangents, thus serving as a model of Forward Accumulation Mode Automatic Differentiation. This mutation is done in several steps. These steps can also be applied to the proofs, resulting in machine-checked proofs of the correctness of this model of forward AD.

研究动机与目标

• 使用增量λ演算（ILC）作为基础，形式化前向自动微分（AD）。
• 通过引入幂级数表示，解决ILC的有限变化与AD对无穷小切线的需求之间的不匹配问题。
• 通过非柯里化与捆绑，统一原始值与切线值，实现链式法则的正确传播。
• 提供一个可机器验证的框架，用于证明前向AD的正确性与效率。
• 区分数值基函数与提升操作，相比先前的带类型λ-演算方法，提升了合流性与模块化程度。

提出的方法

• 将实数的变化表示为常数项为零的ε的幂级数，使用递归类型⟨zpsε⟩。
• 定义系数提取算子coefficient（coefficient）以获取幂级数的第i个系数，从而支持方向导数的计算。
• 通过结构化递归与α-重命名，将coefficient扩展至代数数据类型与函数，避免变量捕获。
• 通过非柯里化输入并将原始值与变化集值捆绑为乘积类型Ft ≡ t × ∆t，将ILC的导数算子D转换为D̂。
• 修改ILC的规约规则，以支持新的捆绑、非柯里化导数语义。
• 将幂级数截断至ε²，得到双数，从而恢复标准前向AD的形式化体系。

实验结果

研究问题

• RQ1 如何系统地将增量λ演算演进为前向自动微分的模型？
• RQ2 将有限变化转换为适合AD的无穷小切线，需要哪些修改？
• RQ3 如何一致地捆绑并传播原始值与切线值通过函数复合？
• RQ4 该系统是否能保持链式法则，并支持正确性的机器验证证明？
• RQ5 与先前的带类型λ-演算前向AD模型相比，该方法在模块化与合流性方面有何改进？

主要发现

• 变化的幂级数表示允许通过系数提取系统推导方向导数，其中coefficient₁可恢复标准导数。
• 从ILC到前向AD的转换通过两个明确定义的步骤实现：幂级数扩展与非柯里化捆绑，二者可交换。
• 所得的D̂算子满足简化链式法则D̂(f ◦ g) ⇝ D̂f ◦ D̂g，与标准前向AD的行为一致。
• 由于框架的正式且类型安全的结构，实现了正确性与效率的机器可验证证明。
• 将数值基函数与提升操作分离，提升了合流性，并避免了先前系统中存在的类型层级歧义。
• 该方法支持Church编码的数据与高阶函数，通过α-重命名与结构化coefficient扩展，确保切线传播的正确性。