[论文解读] A Flow Model of Neural Networks

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|Aug 21, 2017

Neural Networks and Applications参考文献 11被引用 5

一句话总结

本文通过将ResNets与输运方程的特征线方法联系起来，提出了一种神经网络的连续流模型，表明残差块源于速度场的欧拉离散化。该框架解释了为何更深的网络泛化能力更好，为何使用ReLU时两层残差块是最佳选择，以及为何ResNets可比普通网络更深——提供了一个统一解释关键深度学习现象的微分方程视角。

ABSTRACT

Based on a natural connection between ResNet and transport equation or its characteristic equation, we propose a continuous flow model for both ResNet and plain net. Through this continuous model, a ResNet can be explicitly constructed as a refinement of a plain net. The flow model provides an alternative perspective to understand phenomena in deep neural networks, such as why it is necessary and sufficient to use 2-layer blocks in ResNets, why deeper is better, and why ResNets are even deeper, and so on. It also opens a gate to bring in more tools from the huge area of differential equations.

研究动机与目标

• 通过微分方程为ResNets和普通神经网络建立连续流模型。
• 通过输运方程及其特征线的视角，解释深度学习中的关键现象——如残差连接的必要性、深度的优势，以及ReLU激活下两层残差块的成功——。
• 在统一的连续框架下整合ResNets与普通网络，表明ResNets是通过时间离散化流对普通网络的改进。
• 为应用偏微分方程与动力系统工具理解并改进深度学习模型开辟新途径。

提出的方法

• 将ResNets建模为线性输运方程特征线ODE的时间离散解，其中速度场由网络权重和激活值参数化。
• 利用特征线法表明，终端值函数f(x)可沿时间反向传播以得到初始输入，这与神经网络的前向传播过程相吻合。
• 通过分别建模线性变换与非线性激活为流，再通过积分组合，构建普通网络的连续流模型。
• 以一种能恢复ResNet架构的方式对普通网络的流模型进行离散化，从而确立ResNets是普通网络的改进形式。
• 将神经网络的训练视为输运方程的反问题：寻找一个时间依赖的速度场，使其能将初始数据映射到目标标签。
• 利用已知的PDE技术——如正则化和耗散项——提出新的训练策略，包括与Dropout和优化的潜在联系。

实验结果

研究问题

• RQ1 为何在使用ReLU激活时，ResNets需要两层残差块？为何这种结构是最优的？
• RQ2 为何更深的网络通常在神经网络中表现更好？这与连续流动力学有何关联？
• RQ3 如何通过连续流框架在形式上连接普通网络与ResNets？
• RQ4 将深度网络视为输运PDE的解时，能获得关于泛化能力和训练稳定性的哪些新见解？
• RQ5 能否将PDE中的反问题技术适配用于更有效地训练神经网络？

主要发现

• ResNets在数学上等价于输运方程特征线ODE的欧拉离散化，为残差学习提供了连续解释。
• 对于ReLU网络，两层残差块结构是必要的，因为内部权重指定特征空间中的位置，而外部权重控制速度的大小和方向——这一要求源于ReLU的非对称性。
• 更深的网络更有效，是因为连续流模型需要小时间步长和大量迭代才能实现复杂的数据变换，这与神经网络中的深度相对应。
• ResNets本质上比普通网络更深，因为它们是通过相同底层流模型的迭代离散化对普通网络的改进。
• 连续流模型解释了为何ResNets更容易训练：它们以渐进且规律的方式变形数据，而普通网络的变形可能更具随机性。
• 训练的反问题公式表明，优化输运方程的速度场可能催生新型训练算法，且通过耗散正则化可能与Dropout存在潜在联系。