[论文解读] Deep Residual Axial Networks

Nazmul Shahadat, Anthony S. Maida|arXiv (Cornell University)|Jan 11, 2023

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出残差轴向网络（RANs），一种新型CNN架构，用沿高度和宽度轴的两个连续1D深度可分离卷积替代2D卷积，并结合残差连接以缓解梯度消失问题。与ResNets、MobileNets和SqueezeNexts相比，RANs在CIFAR、SVHN和Tiny ImageNet基准测试中参数量减少75–86%，FLOPs减少67–80%，同时准确率至少提升1%。

ABSTRACT

While convolutional neural networks (CNNs) demonstrate outstanding performance on computer vision tasks, their computational costs remain high. Several techniques are used to reduce these costs, like reducing channel count, and using separable and depthwise separable convolutions. This paper reduces computational costs by introducing a novel architecture, axial CNNs, which replaces spatial 2D convolution operations with two consecutive depthwise separable 1D operations. The axial CNNs are predicated on the assumption that the dataset supports approximately separable convolution operations with little or no loss of training accuracy. Deep axial separable CNNs still suffer from gradient problems when training deep networks. We modify the construction of axial separable CNNs with residual connections to improve the performance of deep axial architectures and introduce our final novel architecture namely residual axial networks (RANs). Extensive benchmark evaluation shows that RANs achieve at least 1% higher performance with about 77%, 86%, 75%, and 34% fewer parameters and about 75%, 80%, 67%, and 26% fewer flops than ResNets, wide ResNets, MobileNets, and SqueezeNexts on CIFAR benchmarks, SVHN, and Tiny ImageNet image classification datasets. Moreover, our proposed RANs improve deep recursive residual networks performance with 94% fewer parameters on the image super-resolution dataset.

研究动机与目标

• 在不牺牲准确率的前提下降低深度CNN的计算成本，尤其适用于资源受限的应用场景。
• 解决深度轴向可分离CNN因训练过程中梯度消失导致的性能退化问题。
• 为现有CNN架构中的标准2D卷积层开发一种参数高效且高性能的替代方案。
• 评估轴向1D深度可分离卷积在ResNets、MobileNets、SqueezeNext和递归网络等多种架构中的有效性。
• 证明所提出的RAN模块在多种视觉任务（包括图像分类和图像超分辨率）中的通用性。

提出的方法

• 用沿高度和宽度轴的两个连续1D深度可分离卷积替代标准2D卷积操作，以降低计算成本。
• 在轴向可分离模块中应用残差连接，以稳定训练过程并缓解深层网络中的梯度消失问题。
• 将RAN模块构建为标准残差模块的替代品，支持无缝集成到ResNet、MobileNet和SqueezeNext等现有架构中。
• 利用轴向1D卷积逐维处理空间特征，使每通道的FLOP数从$k^2$降低至$2k$。
• 将RAN模块集成到宽ResNets、MobileNets和SqueezeNexts中，构建基于RAN的变体（如WRANs、RAN-MobileNet、RAN-SqueezeNext）。
• 在递归架构中应用RAN模块以实现图像超分辨率，构建RARNet（递归轴向残差网络），在减少参数量的同时提升PSNR。

实验结果

研究问题

• RQ1 轴向1D深度可分离卷积是否能在保持或提升准确率的同时降低CNN的计算成本？
• RQ2 在轴向可分离模块中添加残差连接是否能有效缓解深层架构中的训练不稳定性？
• RQ3 RAN基模型在参数量、FLOPs、延迟和准确率方面与标准模型（如ResNet、MobileNet、SqueezeNext）相比表现如何？
• RQ4 RAN模块是否能有效应用于非分类任务，如图像超分辨率？
• RQ5 RAN在不同数据集和网络深度下，能在多大程度上减少模型大小和推理成本而不影响性能？

主要发现

• 在CIFAR-10、CIFAR-100、SVHN和Tiny ImageNet上，RANs的验证准确率比ResNets、宽ResNets、MobileNets和SqueezeNexts高出至少1%。
• 在CIFAR基准测试中，与ResNets、MobileNets和SqueezeNexts相比，RANs将参数量减少75–86%，FLOPs减少67–80%。
• 对于26层架构，与MobileNet相比，RANs将参数量减少75%，FLOPs减少67%，同时准确率提升超过1%。
• 基于RAN的宽ResNets（WRANs）相比标准宽ResNets（WRN）将参数量减少86%，且在所有扩张因子下均实现更高的准确率。
• 在Set5图像超分辨率数据集上，RAN基递归网络（RARNet）相比DRRN将可训练参数量减少94%，同时获得更高的PSNR值。
• 基于RAN的SqueezeNext模型在23层架构上相比原始SqueezeNexts，将参数量减少34%，FLOPs减少24%，延迟降低33%。