[论文解读] Integrating Large Circular Kernels into CNNs through Neural Architecture Search

Kun He, Chao Li+3 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Neural Network Applications参考文献 62被引用 5

一句话总结

本文提出了一种受视网膜神经节细胞同心感受野启发的环形卷积核，作为CNN中标准方形核的更优替代方案。通过将大尺寸环形核集成到神经架构搜索（NAS）中，作者证明所搜索的模型在CIFAR-10和CIFAR-100上实现了最先进性能，且由于核的固有各向同性和旋转不变性，对旋转和剪切具有更强的鲁棒性。

ABSTRACT

The square kernel is a standard unit for contemporary CNNs, as it fits well on the tensor computation for convolution operation. However, the retinal ganglion cells in the biological visual system have approximately concentric receptive fields. Motivated by this observation, we propose to use circular kernel with a concentric and isotropic receptive field as an option for the convolution operation. We first propose a simple yet efficient implementation of the convolution using circular kernels, and empirically show the significant advantages of large circular kernels over the counterpart square kernels. We then expand the operation space of several typical Neural Architecture Search (NAS) methods with the convolutions of large circular kernels. The searched new neural architectures do contain large circular kernels and outperform the original searched models considerably. Our additional analysis also reveals that large circular kernels could help the model to be more robust to the rotated or sheared images due to their better rotation invariance. Our work shows the potential of designing new convolutional kernels for CNNs, bringing up the prospect of expanding the search space of NAS with new variants of convolutions.

研究动机与目标

• 为解决方形核在建模各向同性、旋转不变感受野方面的局限性，提出一种具有同心、各向同性采样特性的环形核。
• 开发一种高效的环形核卷积实现方法，使其可集成到现有深度学习框架中。
• 通过引入大尺寸环形核，扩展NAS的操作空间，实现对最优核形状的自动发现。
• 探究环形核是否能提升模型对旋转、剪切等几何变换的鲁棒性。
• 证明环形核与方形核在优化路径上存在本质差异，从而在NAS中实现更好的泛化能力。

提出的方法

• 提出一种新颖的环形核定义：K×K核在同心圆上均匀采样K²个像素，形成近似各向同性的感受野。
• 设计一种高效、可微的环形核卷积实现方法，利用插值与稀疏采样，避免昂贵的重复计算。
• 通过扩展多个NAS框架（PC-DARTS、DARTS、NASNet），将搜索空间扩展为包含方形核与环形核并行的结构。
• 引入一种“集成核”模块，在训练过程中随机切换方形核与环形核，实现联合优化并提升泛化能力。
• 采用基于梯度的NAS方法，结合权重共享与可微架构搜索，使搜索过程能够识别大尺寸环形核的最优位置。
• 在每轮训练迭代中，使用二项分布随机选择每层的核类型（方形或环形），在保持共享权重的同时实现动态感受野自适应。

实验结果

研究问题

• RQ1 具有同心、各向同性感受野的环形核是否能在CNN中，尤其是在大尺寸核的情况下，优于标准方形核？
• RQ2 将大尺寸环形核集成到NAS搜索空间中，是否能生成超越仅使用方形核的架构？
• RQ3 环形核是否能提升模型对旋转和剪切等几何变换的鲁棒性？
• RQ4 在梯度下降过程中，使用环形核与方形核的模型是否存在本质不同的优化轨迹？
• RQ5 一种在训练过程中交替使用方形与环形形式的混合‘集成核’，是否能优于单独使用任一类型核的模型？

主要发现

• 使用大尺寸环形核（k=7）的模型在CIFAR-10和CIFAR-100上的测试误差显著低于其方形核对应模型，且在无数据增强条件下，CIFAR-10准确率提升最高达1.5%，CIFAR-100提升达1.2%。
• 采用环形核的PC-DARTS-Circle模型在CIFAR-10上实现2.75%的测试误差，在CIFAR-100上实现10.52%的测试误差，优于原始PC-DARTS模型（使用方形核）。
• 在旋转或剪切图像上，环形核模型在70°角度下分别实现最大4%的旋转性能增益和5%的剪切性能增益，展现出强大的旋转不变性。
• 集成核方法在训练过程中交替使用方形与环形核，其性能优于纯方形核与纯环形核模型，表明其具有独特且优越的优化路径。
• NAS的搜索过程成功识别并定位了关键层中的大尺寸环形核，证实环形核并非简单替代品，而是在特定架构位置的更优选择。
• 实证分析表明，环形核与方形核具有不同的优化轨迹，表现为性能差距的存在以及集成核策略的成功。