[论文解读] Functorial String Diagrams for Reverse-Mode Automatic Differentiation

Mario Alvarez-Picallo, Dan R. Ghica+2 more|arXiv (Cornell University)|Jul 28, 2021

Modeling and Simulation Systems参考文献 9被引用 7

一句话总结

本文提出了一种具有分层特性的新型函子性弦图演算，用于形式化建模并证明在简单类型λ演算中反向模式自动微分（AD）的正确性。通过将AD表示为分层超图（称为超网络）上的图重写，该方法提供了一个原则性、高效且形式化验证的实现框架，首次在该背景下建立了Pearlmutter与Siskind AD算法的正确性证明。

ABSTRACT

We enhance the calculus of string diagrams for monoidal categories with hierarchical features in order to capture closed monoidal (and cartesian closed) structure. Using this new syntax we formulate an automatic differentiation algorithm for (applied) simply typed lambda calculus in the style of [Pearlmutter and Siskind 2008] and we prove for the first time its soundness. To give an efficient yet principled implementation of the AD algorithm we define a sound and complete representation of hierarchical string diagrams as a class of hierarchical hypergraphs we call hypernets.

研究动机与目标

• 正式证明Pearlmutter与Siskind（2008）提出的反向模式自动微分算法的正确性，该问题在本工作之前尚未得到解决。
• 将单余代数范畴的弦图演算扩展为具有分层结构的形式，以捕捉闭余代数范畴与笛卡尔闭余代数范畴，从而支持高阶函数与闭包的表示。
• 基于分层超图（超网络）作为数据结构，开发一种具体、高效且形式正确的AD实现，兼容双推导图重写（double-pushout graph rewriting）机制。
• 通过统一使用函子性弦图这一单一形式化语言，在概念层面与实现层面同时表达AD的规范与实现。

提出的方法

• 通过引入带标签的框架与分层嵌套结构扩展弦图语法，以表示闭余代数范畴中的函子、自然变换以及高阶构造。
• 引入用于前向与反向传播的重写系统：前向传播构建包含嵌入式反向传播器的原始图，反向传播则应用拉回图以传播梯度。
• 定义一类称为“超网络”的分层超图，作为分层弦图演算的可靠且完备的表示。
• 使用双推导（DPO）重写机制实现AD变换，通过明确定义的图重写规则确保正确性与模块化。
• 通过递归应用伴随规则处理抽象与应用，通过导线置换保持敏感性信息的完整性。
• 采用菱形性质论证（模导线置换）证明重写系统的联合性，支持确定性且正确的执行。

实验结果

研究问题

• RQ1 能否使用图形化、范畴论的框架，正式证明高阶函数的反向模式自动微分算法的正确性？
• RQ2 如何通过引入分层结构扩展弦图，以在支持AD的前提下表示闭余代数范畴与笛卡尔闭余代数范畴？
• RQ3 是否存在一种可靠且完备的基于图的数据结构，能够通过重写机制实现高效且正确的AD？
• RQ4 AD变换能否统一表达为在分层超图上的图重写系统，同时保持正确性与模块化？

主要发现

• 本文首次在简单类型λ演算的背景下，为Pearlmutter与Siskind（2008）提出的反向模式AD算法建立了正式的正确性证明。
• 所提出的分层弦图演算使得AD算法能够以清晰、模块化且归纳性的方式表达，从而促进了正确性证明的实现。
• 前向与反向传播的重写系统在模导线置换的意义下满足菱形性质，确保了联合性与确定性执行。
• 超网络类提供了分层弦图的可靠且完备的表示，使得通过双推导重写机制实现AD的高效且原则性实现成为可能。
• AD变换能正确计算导数，经由具体示例（x² + x）验证：当输入为1时，反向传播器输出了正确的导数值。