[论文解读] Irregular Convolutional Neural Networks

Jiabin Ma, Wei Wang+1 more|arXiv (Cornell University)|Jun 24, 2017

Advanced Neural Network Applications参考文献 23被引用 5

一句话总结

该论文提出不规则卷积神经网络（ICNN），其中卷积核形状作为与权重并行的可学习参数，能够更好地适应语义分割等任务中的不规则特征模式。通过可微分双线性插值，ICNN 实现端到端的核形状训练，在参数更少的情况下实现性能提升，尤其在 PASCAL VOC 2012 上达到 43.1% 的 mIoU，在 CITYSCAPE 上达到 72.9%。

ABSTRACT

Convolutional kernels are basic and vital components of deep Convolutional Neural Networks (CNN). In this paper, we equip convolutional kernels with shape attributes to generate the deep Irregular Convolutional Neural Networks (ICNN). Compared to traditional CNN applying regular convolutional kernels like ${3 imes3}$, our approach trains irregular kernel shapes to better fit the geometric variations of input features. In other words, shapes are learnable parameters in addition to weights. The kernel shapes and weights are learned simultaneously during end-to-end training with the standard back-propagation algorithm. Experiments for semantic segmentation are implemented to validate the effectiveness of our proposed ICNN.

研究动机与目标

• 解决深度卷积神经网络中固定规则卷积核形状与不规则输入特征模式之间的不匹配问题。
• 通过使核形状适应输入特征的几何结构，提升特征提取效率。
• 通过学习不规则核形状，在不增加网络深度或参数量的前提下增强建模能力。
• 通过标准反向传播实现核权重与形状的端到端联合训练。

提出的方法

• 提出一种基于双线性插值的可微分形状参数化方法，使核形状在反向传播过程中可学习。
• 将每个核表示为一组可学习的空间位置（形状变量），用于定义权重的放置位置，而非固定网格位置。
• 应用双线性插值将不规则分布的核权重映射到特征图位置，确保可微性。
• 通过在单层中共享单一形状参数，简化计算，降低复杂度，同时保持性能。
• 通过标准反向传播联合训练核权重与形状参数，实现与现有 CNN 架构的无缝集成。

实验结果

研究问题

• RQ1 可学习的核形状是否能提升深度卷积神经网络在具有不规则特征模式任务中的特征表示能力？
• RQ2 不规则核形状的端到端训练对语义分割性能有何影响？
• RQ3 与规则核相比，不规则核在多大程度上能减少参数冗余？
• RQ4 不规则核是否能比固定结构核更好地捕捉全局与局部上下文信息？

主要发现

• ICNN 在 PASCAL VOC 2012 上达到 43.1% 的 mIoU，展现出语义分割的最先进性能。
• 在 CITYSCAPE 数据集上，ICNN 达到 72.9% 的 mIoU，表明其在复杂城市场景中具有强大的泛化能力。
• 可视化结果表明，不规则核能有效抑制干扰的空间响应，更专注于相关物体区域。
• ICNN 的深层网络发展出拉长的条带状核分布，以更少的参数实现更大的有效感受野。
• ICNN 有效结合了全局上下文信息（如头部与躯干特征），从而更准确地标记小尺寸或部分可见的物体（如颈部）。