[论文解读] Convolutional Neural Networks combined with Runge-Kutta Methods

Mai Zhu, Bo Chang+1 more|arXiv (Cornell University)|Feb 24, 2018

Model Reduction and Neural Networks参考文献 36被引用 31

一句话总结

本文提出龙格-库塔卷积神经网络（RKCNNs），将预激活残差网络（ResNets）重新解释为高阶龙格-库塔（RK）方法，而非仅基于欧拉法的动力学。通过在神经网络架构中直接近似高阶隐式RK方法的隐式方程，RKCNNs 在推理过程中消除了迭代求解器，实现了显著降低的浮点运算量（FLOPs）和参数量，同时在 MNIST、SVHN 和 CIFAR 基准测试中达到了最先进精度，优于基于 ODE 的模型和标准 ResNets。

ABSTRACT

A convolutional neural network can be constructed using numerical methods for solving dynamical systems, since the forward pass of the network can be regarded as a trajectory of a dynamical system. However, existing models based on numerical solvers cannot avoid the iterations of implicit methods, which makes the models inefficient at inference time. In this paper, we reinterpret the pre-activation Residual Networks (ResNets) and their variants from the dynamical systems view. We consider that the iterations of implicit Runge-Kutta methods are fused into the training of these models. Moreover, we propose a novel approach to constructing network models based on high-order Runge-Kutta methods in order to achieve higher efficiency. Our proposed models are referred to as the Runge-Kutta Convolutional Neural Networks (RKCNNs). The RKCNNs are evaluated on multiple benchmark datasets. The experimental results show that RKCNNs are vastly superior to other dynamical system network models: they achieve higher accuracy with much fewer resources. They also expand the family of network models based on numerical methods for dynamical systems.

研究动机与目标

• 解决现有基于 ODE 的神经网络在推理过程中依赖迭代隐式求解器所导致的效率低下问题。
• 将预激活 ResNets 及其变体重新解释为高阶龙格-库塔方法的近似，而非仅基于欧拉法的动力学。
• 开发一类新型神经网络——RKCNNs，利用隐式龙格-库塔方法的稳定性和精度，同时避免迭代求解步骤。
• 与最先进基于 ODE 的模型和标准 ResNets 相比，实现更高的准确率和更低的计算成本。

提出的方法

• 将预激活 ResNets 中的残差块重新解释为高阶龙格-库塔方法中时间步长增量的近似，而非仅作为前向欧拉法。
• 提出使用神经网络直接近似隐式龙格-库塔（IRK）方法的隐式方程，从而在推理过程中消除对牛顿型迭代求解器的需求。
• 设计 RKCNNs 的三种变体：RKCNN-E（显式 RK）、RKCNN-I（隐式 RK）和 RKCNN-R（Rosenbrock 型），每种具有不同的阶段和通道配置。
• 端到端训练整个网络，其中残差映射学习近似完整 RK 方法的增量，包括系数和导数评估。
• 使用单一神经网络近似整个 RK 方法公式，而非如先前工作仅近似 ODE 的右端项。
• 将 RK 方法的结构整合到网络架构中，使前向传播自然遵循所选 RK 格式的阶段和权重。

实验结果

研究问题

• RQ1 预激活 ResNets 是否可以有意义地被解释为高阶龙格-库塔方法，而非仅是一阶欧拉方法？
• RQ2 高阶龙格-库塔方法的隐式方程是否能被神经网络有效近似，从而在推理过程中消除迭代求解器？
• RQ3 基于龙格-库塔方法的神经网络架构是否能在准确率和 FLOPs 方面优于现有基于 ODE 的模型和标准 ResNets？
• RQ4 当嵌入卷积神经网络用于图像分类时，不同类型的龙格-库塔方法（显式、隐式、Rosenbrock 型）表现如何？

主要发现

• RKCNNs 在 MNIST、SVHN 和 CIFAR-10 上实现了最先进精度，且参数量和 FLOPs 显著少于对比模型。
• 在 CIFAR-100 上，RKCNN-R 的测试误差为 17.00%（±0.42），优于所有对比模型，包括预激活 ResNet 和 DenseNet。
• RKCNN-I 和 RKCNN-R 的测试误差低于 RKCNN-E 及其他基于 ODE 的模型，证明了隐式和 Rosenbrock 型方法的优势。
• RKCNN 的参数量和 FLOPs 仅约为最先进模型（如 DenseNet 和 CliqueNet）的 10%，显示出极高的效率。
• 表现最佳的 RKCNN 使用每阶段 80–180 个通道和 5–6 个阶段，表明更深更宽的结构可提升性能。
• 所提方法在推理过程中消除了迭代隐式求解步骤，使其显著快于先前基于 ODE 的网络，且内存效率更高。