[论文解读] CHAD for Expressive Total Languages

Fernando Lucatelli Nunes, Matthijs Vákár|Data Archiving and Networked Services (DANS)|Oct 1, 2021

Logic, programming, and type systems参考文献 33被引用 4

一句话总结

本文将组合同态自动微分（CHAD）扩展至支持元组、和类型、归纳类型、共归纳类型及函数类型的丰富全函数式编程语言。通过使用$Σ$-类型并结合新颖的逻辑关系技术构建范畴语义，证明了CHAD能正确计算数学导数，从而在复杂类型系统中实现原则性、纯函数式且形式正确的一阶与反向模式自动微分。

ABSTRACT

We show how to apply forward and reverse mode Combinatory Homomorphic Automatic Differentiation (CHAD) to total functional programming languages with expressive type systems featuring the combination of - tuple types; - sum types; - inductive types; - coinductive types; - function types. We achieve this by analysing the categorical semantics of such types in $Σ$-types (Grothendieck constructions) of suitable categories. Using a novel categorical logical relations technique for such expressive type systems, we give a correctness proof of CHAD in this setting by showing that it computes the usual mathematical derivative of the function that the original program implements. The result is a principled, purely functional and provably correct method for performing forward and reverse mode automatic differentiation (AD) on total functional programming languages with expressive type systems.

研究动机与目标

• 将组合同态自动微分（CHAD）扩展至支持元组、和类型、归纳类型、共归纳类型及函数类型的全函数式编程语言。
• 使用范畴语义为这类丰富类型系统中的CHAD提供形式化、指称性的基础。
• 通过新颖的范畴逻辑关系技术，证明CHAD正确计算标准数学导数。
• 在高阶、丰富类型语言中，实现原则性、纯函数式且形式化验证的源码变换，用于一阶与反向模式自动微分。
• 支持在具有复杂数据结构（如流与递归树）的语言中高效、正确地实现自动微分，同时保持效率与正确性。

提出的方法

• 基于适当的基范畴，使用$Σ$-类型（Grothendieck构造）为丰富类型系统开发范畴语义。
• 定义CHAD的目标语言，支持全部表达性类型，从而实现原函数与切线计算的同态编码。
• 将前向与反向CHAD算法推导为从源语言到目标语言的唯一确定的同态函子。
• 提出一种新颖的范畴逻辑关系技术（sconing），用于处理涉及归纳与共归纳类型的程序。
• 在具体指称语义上应用逻辑关系构造，证明CHAD正确计算导数。
• 使用初等代数与余代数语义建模递归与共递归数据类型，确保在微分下行为良好定义。

实验结果

研究问题

• RQ1 如何将CHAD扩展至支持全函数式语言中的归纳与共归纳类型？
• RQ2 何种范畴框架能够支持丰富类型系统（包括和类型、积类型与函数类型）的语义，从而实现组合式自动微分？
• RQ3 能否设计一种逻辑关系技术，同时处理自动微分背景下归纳与共归纳类型？
• RQ4 CHAD是否能正确计算作用于复杂数据结构（如流与树）的函数的标准数学导数？
• RQ5 在包含高阶函数与丰富类型构造的环境中，如何形式化证明CHAD的正确性？

主要发现

• 成功将CHAD扩展至支持元组、和类型、归纳类型、共归纳类型及函数类型的全函数式语言，支持一阶与反向模式自动微分。
• 通过新颖的范畴逻辑关系技术，建立了CHAD的正式正确性证明，该技术能同时处理归纳与共归纳类型。
• 推导出的CHAD变换被证明能正确计算归纳类型之间函数的数学导数，包括递归数据结构。
• 该方法为纯函数式，基于同态函子，确保微分的组合性与类型安全。
• 该方法支持高效、静态的源码变换，无需运行时追踪或自定义操作语义。
• 由于采用余代数语义与共归纳推理，正确性结果在涉及无限或惰性数据结构的程序中依然成立。