[论文解读] Compositional Deep Learning

Bruno Gavranović|arXiv (Cornell University)|Jul 16, 2019

Neural Networks and Applications被引用 2

一句话总结

本论文提出了一种范畴论框架，用于深度学习，将神经网络架构、数据、参数化和优化形式化为固定范畴之间的函子，从而实现组合式推理。该框架引入了一种新颖的无配对数据图像中对象插入与删除的架构，通过利用范畴对偶性和函子优化，在三个数据集上取得了有前景的结果。

ABSTRACT

Neural networks have become an increasingly popular tool for solving many real-world problems. They are a general framework for differentiable optimization which includes many other machine learning approaches as special cases. In this thesis we build a category-theoretic formalism around a class of neural networks exemplified by CycleGAN. CycleGAN is a collection of neural networks, closed under composition, whose inductive bias is increased by enforcing composition invariants, i.e. cycle-consistencies. Inspired by Functorial Data Migration, we specify the interconnection of these networks using a categorical schema, and network instances as set-valued functors on this schema. We also frame neural network architectures, datasets, models, and a number of other concepts in a categorical setting and thus show a special class of functors, rather than functions, can be learned using gradient descent. We use the category-theoretic framework to conceive a novel neural network architecture whose goal is to learn the task of object insertion and object deletion in images with unpaired data. We test the architecture on three different datasets and obtain promising results.

研究动机与目标

• 使用范畴论对深度学习组件——架构、数据、参数化和优化——进行形式化，以实现组合式推理。
• 将现有的组合式监督学习扩展至无监督学习和生成模型。
• 开发一种新型神经网络架构，能够在无配对训练数据的情况下学习图像中的对象插入与删除。
• 建立深度学习与范畴化数据库系统之间的正式对应关系。
• 通过函子和范畴对偶性，为复杂深度学习系统提供数学上严谨且抽象的基础。

提出的方法

• 将神经网络架构表示为从模式范畴到向量空间范畴的函子。
• 将数据集表示为从模式范畴到集合范畴的函子，从而实现范畴化数据处理。
• 将优化重新表述为在两个固定范畴之间寻找函子，而非在集合之间寻找函数。
• 将参数-函数映射视为从参数范畴到函数范畴的函子，从而支持结构化推理。
• 利用范畴对偶性设计一种新颖架构，用于在无配对数据下实现图像中的对象操作。
• 采用基于StyleGAN的生成对抗网络框架，结合合成梯度与解耦潜在空间，以实现对象的插入与删除。

实验结果

研究问题

• RQ1 范畴论如何为深度学习组件（如架构、数据和优化）提供一种组合式的形式化？
• RQ2 深度学习与数据库系统之间的范畴对应关系是什么？如何利用该关系进行模型设计？
• RQ3 范畴论框架是否能够有效支持无监督图像操作任务（如对象插入与删除）的神经网络训练？
• RQ4 在固定范畴之间进行函子优化与传统基于函数的优化在深度学习中有什么不同？
• RQ5 在范畴框架中将神经网络建模为函子时，会涌现出哪些新型归纳偏置？

主要发现

• 本文建立了深度学习与范畴化数据库系统之间的正式对应关系，表明两者共享一种共同的函子结构。
• 深度学习中的优化可被重新解释为在两个固定范畴之间寻找函子，从而为模型训练提供了更抽象且更具组合性的视角。
• 所提出的架构成功实现了在无配对数据下对图像中对象的插入与删除，证明了无监督图像操作的可行性。
• 在Circles、CelebA和StyleGAN数据集上的实验表明，结果在定性和定量方面均表现良好，且模型在不同图像分布间具有良好的泛化能力。
• 范畴框架通过函子组合与对偶性，实现了对结构组件的解耦，从而为对象操作提供了原则性方法。
• 在范畴框架内使用合成梯度与解耦潜在空间，支持异步和模块化训练，从而提升了可扩展性与可组合性。