[论文解读] Deep Function Machines: Generalized Neural Networks for Topological Layer Expression

William H. Guss|arXiv (Cornell University)|Dec 14, 2016

Neural Networks and Applications参考文献 15被引用 8

一句话总结

本文提出了深度函数机（DFMs），这是对深度神经网络的推广，其在连续函数空间而非离散向量上运行，从而实现分辨率不变的学习。通过将层建模为在连续域上的积分算子，DFMs 实现了有界非线性算子的通用逼近，并支持拓扑上合理的层设计——通过 RippLeNet 这一新型架构得到验证，该架构在计算机视觉领域实现了最先进的分辨率不变性。

ABSTRACT

In this paper we propose a generalization of deep neural networks called deep function machines (DFMs). DFMs act on vector spaces of arbitrary (possibly infinite) dimension and we show that a family of DFMs are invariant to the dimension of input data; that is, the parameterization of the model does not directly hinge on the quality of the input (eg. high resolution images). Using this generalization we provide a new theory of universal approximation of bounded non-linear operators between function spaces. We then suggest that DFMs provide an expressive framework for designing new neural network layer types with topological considerations in mind. Finally, we introduce a novel architecture, RippLeNet, for resolution invariant computer vision, which empirically achieves state of the art invariance.

研究动机与目标

• 开发一种深度学习的理论框架，将数据视为从连续函数中采样，而非离散向量。
• 解决关于数据拓扑与几何如何约束最优神经网络架构设计的理论理解不足问题。
• 构建在输入分辨率上可证明不变的神经网络，通过利用连续函数空间。
• 将现有无限宽度神经网络理论推广至包含拓扑与几何约束的范畴。
• 引入新型层类型，如 WaveLayers，其在拓扑假设下具有可证明的性质。

提出的方法

• DFMs 通过用实值神经元索引上的连续积分算子替代标准神经网络中的离散权重矩阵，推广了标准神经网络。
• 该模型采用连续激活与积分框架，其中每一层在连续索引空间上计算积分变换。
• 该框架通过迭代积分实现递归反向传播，以递推关系形式形式化误差反向传播。
• 关键组成部分是利用嵌套积分推导出反向传播规则，从而实现在连续函数空间中的梯度计算。
• 该方法引入一种新型层类型 WaveLayers，基于具有拓扑不变性的连续卷积类操作。
• 理论分析证明，DFMs 可以通用逼近函数空间之间的有界非线性算子，扩展了经典通用逼近定理。

实验结果

研究问题

• RQ1 深度神经网络能否被推广至在连续函数空间上运行，同时保持表达能力与可训练性？
• RQ2 数据的哪些拓扑与几何特性能够支持更强大且不变的神经架构？
• RQ3 我们能否通过将数据建模为连续函数，构建在输入分辨率上可证明不变的神经网络层？
• RQ4 是否存在支持函数空间之间非线性算子通用逼近的无限维神经网络泛化形式？
• RQ5 我们能否推导出超越卷积与全连接层的新层类型，使其从拓扑假设中继承可证明的不变性与表达能力？

主要发现

• DFMs 为函数空间之间有界非线性算子提供了新的通用逼近定理，将经典结果推广至连续域。
• 该框架支持构建分辨率不变的神经网络，如 RippLeNet 所示，在计算机视觉中实现了最先进的不变性。
• 理论分析确认，DFMs 可以通用逼近非线性算子，其证明依赖于递归积分反向传播。
• 提出了一种新型层类型 WaveLayers，并证明其与 DFM 框架兼容，提供了超越标准卷积的新归纳偏置。
• DFMs 中的梯度计算被证明是数值可积且实值的，确保了通过所推导的反向传播算法实现稳定训练。
• 该方法成功推广了现有无限宽度神经网络理论，并为分析深度学习中的拓扑不变性提供了正式语言。