[论文解读] Derivatives of Turing machines in Linear Logic

James Clift, Daniel Murfet|arXiv (Cornell University)|May 30, 2018

Computability, Logic, AI Algorithms参考文献 38被引用 3

一句话总结

本文使用Sweedler语义在线性逻辑中计算图灵机编码的Ehrhard-Regnier导数，表明这些导数代表在条件独立性假设下的贝叶斯信念程度下朴素概率的变化率。关键贡献在于建立了微分线性逻辑与基于梯度的学习之间的正式联系，证明图灵机的导数可计算对输入不确定性的敏感度。

ABSTRACT

We calculate denotations under the Sweedler semantics of the Ehrhard-Regnier derivatives of various encodings of Turing machines into linear logic. We show that these derivatives calculate the rate of change of probabilities naturally arising in the Sweedler semantics of linear logic proofs. The resulting theory is applied to the problem of synthesising Turing machines by gradient descent.

研究动机与目标

• 使用Sweedler语义在向量空间中通过余自由余代数解释线性逻辑证明。
• 将Ehrhard-Regnier导数微积分应用于普通证明，特别是编码图灵机的证明。
• 将'朴素概率'定义为将证明应用于表示概率分布的群类元素的语义值。
• 使用对磁带和状态的分布建模不确定性传播，其语义值映射到分布空间上的线性映射。
• 构建补丁和填充函数以在导数计算中建模磁带移动和区域特定的传播。
• 证明涉及导数映射和投影的图表可交换，表明不同编码（如boolstep与relstep）之间的一致性。

提出的方法

• 使用Sweedler语义通过余自由余代数在向量空间中解释线性逻辑证明。
• 将Ehrhard-Regnier导数微积分应用于普通证明，特别是编码图灵机的证明。
• 将'朴素概率'定义为将证明应用于表示概率分布的群类元素的语义值。
• 使用对磁带和状态的分布建模不确定性传播，其语义值映射到分布空间上的线性映射。
• 构建补丁和填充函数以在导数计算中建模磁带移动和区域特定的传播。
• 证明涉及导数映射和投影的图表可交换，表明不同编码（如boolstep与relstep）之间的一致性。

实验结果

研究问题

• RQ1 在在线性逻辑与微分语义的背景下，算法的导数计算什么？
• RQ2 图灵机编码的导数如何在概率设定下解释为变化率？
• RQ3 在结构上不同的同一计算行为编码（如boolstep与relstep）是否产生等价的不确定性传播？
• RQ4 线性逻辑中证明的导数能否用于实现算法合成中的梯度下降？
• RQ5 条件独立性假设在此框架中定义朴素概率时起什么作用？

主要发现

• 在线性逻辑中，证明的导数在Sweedler语义下计算朴素概率的变化率。
• 朴素概率被定义为在输入不确定性和条件独立性假设下对输出的贝叶斯信念程度。
• 图灵机编码的导数计算对输入分布变化的敏感度，类似于反向传播中的梯度。
• 通过导数框架中的可交换图表表明，不同编码（如boolstep与relstep）实现了相同的不确定性传播。
• 在适当的维数约束下，boolstep编码中步函数的导数与relstep编码中的导数相匹配。
• 该理论通过将导数解释为方向性更新以最小化概率输出中的误差，支持图灵机的梯度下降合成。