[论文解读] Category Theory in Machine Learning

Dan Shiebler, Bruno Gavranović+1 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Graph Neural Networks参考文献 75被引用 8

一句话总结

本综述综合了范畴论在机器学习中的应用，通过范畴框架（如笛卡尔微分范畴、马尔可夫范畴和自然变换）统一了基于梯度的学习、概率模型以及等变/不变学习的视角。它展示了范畴论如何为理解反向传播、贝叶斯推断和几何深度学习提供组合性基础，关键成果包括对优化、概率推理和对称性感知神经网络的形式化。

ABSTRACT

Over the past two decades machine learning has permeated almost every realm of technology. At the same time, many researchers have begun using category theory as a unifying language, facilitating communication between different scientific disciplines. It is therefore unsurprising that there is a burgeoning interest in applying category theory to machine learning. We aim to document the motivations, goals and common themes across these applications. We touch on gradient-based learning, probability, and equivariant learning.

研究动机与目标

• 综合并系统化范畴论在机器学习中作为统一语言的日益增长的应用。
• 识别基于梯度的学习、概率方法以及不变性/等变学习中的共同主题和基础结构。
• 突出范畴论如何在复杂机器学习系统中实现组合性推理，特别是在自动微分和概率推断方面。
• 通过提供一个综合性的范畴论框架，解决机器学习理论中的碎片化问题，以理解不同子领域。
• 识别开放挑战，如统一范畴论视角下的优化、概率和不变性，并为学习理论的未来方向提出建议。

提出的方法

• 使用笛卡尔微分范畴来形式化神经网络中自动微分和反向传播的机制。
• 应用反向导数范畴在范畴设定中建模梯度计算，从而为反向传播提供严谨的处理方式。
• 利用光学和透镜将参数更新和学习过程建模为双向变换。
• 利用马尔可夫范畴在范畴框架中形式化概率模型、条件概率和贝叶斯更新。
• 将等变神经网络表示为保持数据域（如图和流形）对称性的函子之间的自然变换。
• 引入全局自然图网络，通过与图同构可交换的自然变换，作为等变图网络的推广。

实验结果

研究问题

• RQ1 范畴论如何为深度学习中的自动微分和基于梯度的学习提供统一且组合性的基础？
• RQ2 马尔可夫范畴在范畴设定中如何形式化概率推理、条件独立性和贝叶斯更新？
• RQ3 自然变换和函子如何用于构建在图和流形等数据域对称性下保持不变或等变的神经网络？
• RQ4 经典机器学习算法（如梯度下降和贝叶斯更新）的范畴论推广是什么？它们与普遍性质有何关联？
• RQ5 范畴论中的凯恩扩张和普遍构造如何为机器学习中最优解的深层基础理解提供支持？

主要发现

• 笛卡尔微分范畴为自动微分提供了合成性、公理化的框架，使得反向传播能够以清晰的范畴论方式处理。
• 反向导数范畴以一种推广并抽象化反向传播算法的方式，形式化了梯度的计算。
• 光学和透镜将参数更新和学习过程建模为双向变换，为模型训练和适应提供了范畴论视角。
• 马尔可夫范畴形式化了条件概率、边缘化和独立性，为概率建模和贝叶斯推断提供了范畴论基础。
• 自然图网络被定义为图上函子之间的自然变换，通过允许每张图采用不同的变换而保持对称性，从而推广了等变图网络。
• 在流形（如二十面体）上的规范等变卷积神经网络通过尊重内在几何对称性，在球面信号学习中实现了最先进性能。