[论文解读] Low-Cost Parameterizations of Deep Convolutional Neural Networks

Eran Treister, Lars Ruthotto+3 more|arXiv (Cornell University)|May 20, 2018

Model Reduction and Neural Networks参考文献 16被引用 5

一句话总结

本文通过利用基于PDE的架构实现通道耦合中的稀疏性，提出了一种新颖且低成本的深度卷积神经网络参数化方法。通过将标准的全连接卷积层替换为源自反应-扩散PDE的深度可分离、循环或半隐式卷积层，该方法在保持图像分类任务准确率的同时，将参数量和计算量减少了高达一个数量级，尤其适用于宽网络或高维网络。

ABSTRACT

Convolutional Neural Networks (CNNs) filter the input data using a series of spatial convolution operators with compactly supported stencils and point-wise nonlinearities. Commonly, the convolution operators couple features from all channels. For wide networks, this leads to immense computational cost in the training of and prediction with CNNs. In this paper, we present novel ways to parameterize the convolution more efficiently, aiming to decrease the number of parameters in CNNs and their computational complexity. We propose new architectures that use a sparser coupling between the channels and thereby reduce both the number of trainable weights and the computational cost of the CNN. Our architectures arise as new types of residual neural network (ResNet) that can be seen as discretizations of a Partial Differential Equations (PDEs) and thus have predictable theoretical properties. Our first architecture involves a convolution operator with a special sparsity structure, and is applicable to a large class of CNNs. Next, we present an architecture that can be seen as a discretization of a diffusion reaction PDE, and use it with three different convolution operators. We outline in our experiments that the proposed architectures, although considerably reducing the number of trainable weights, yield comparable accuracy to existing CNNs that are fully coupled in the channel dimension.

研究动机与目标

• 减少深度CNN中的可训练参数数量和计算成本，尤其针对宽网络或高维架构。
• 解决通道间全耦合卷积的低效问题，其计算复杂度随通道宽度增加而急剧上升。
• 利用连续PDE模型构建具有可预测理论特性的参数高效CNN架构。
• 通过大幅减少参数量，实现在内存受限设备上的高效推理与训练。
• 将CNN的应用范围扩展至3D和4D数据（如视频、医学影像），其中标准卷积因计算成本过高而难以应用。

提出的方法

• 提出一种源自时变PDE的新型残差网络架构，具体为反应-扩散模型，实现理论上的稳定性和可预测性。
• 将标准3D卷积替换为深度可分离卷积与1×1卷积的线性组合，降低参数量同时保持表征能力。
• 引入一种半隐式格式，先对深度可分离卷积执行其逆运算（通过FFT计算），再应用非线性激活函数，实现在低计算成本下实现完整的空间耦合。
• 利用张量积结构实现通道间的循环连接，支持基于FFT的高效计算，并实现通道宽度的线性缩放。
• 使用快速傅里叶变换（FFT）高效计算零填充或循环扩展核上的卷积，降低对核大小的依赖。
• 将架构作为PDE的离散近似推导，确保对参数扰动和噪声具有理论鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不损失模型准确率或表征能力的前提下，对CNN中的通道耦合进行稀疏化？
• RQ2 如何将基于PDE的连续模型离散化为CNN层，以保证理论稳定性和计算效率？
• RQ3 通过用深度可分离或循环结构替代全耦合卷积，参数量和计算成本最多可降低多少？
• RQ4 所提出的架构在通道宽度增加时的可扩展性如何，特别是在视频或3D医学影像等高维数据中？
• RQ5 对于宽网络，基于FFT的稀疏卷积实现是否能在相对速度上超越标准cuDNN实现？

主要发现

• 所提架构在显著减少可训练参数量的同时，达到与标准全耦合CNN相当或更优的准确率。
• 与cuDNN的全耦合卷积相比，基于FFT的实现运行时间比随通道数线性增长，当通道数达到约200时开始具有优势。
• 对于较大核尺寸，基于FFT的实现性能更优，因为其执行时间与核大小无关，而直接基于GEMM的方法则受核大小影响。
• 半隐式方案仅通过深度可分离卷积即可实现像素间的完整空间耦合，以极低计算成本实现强特征交互。
• 循环卷积结构使参数量与通道宽度成正比，而非输入与输出通道数的乘积，从而大幅降低内存占用。
• 该架构在3D和4D数据中尤其占优，因为标准3D CNN在这些场景中因参数和计算需求过高而难以应用。