[论文解读] Competitive Inner-Imaging Squeeze and Excitation for Residual Network

Yang Hu, Guihua Wen+4 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 44被引用 46

一句话总结

本文提出一种竞争性压缩-注意力(cmpe-se)块，用于ResNets，联合建模残差与身份通道关系，并增加一个内成像机制，通过卷积滤波重新成像中间通道特征，以获得更丰富的通道关系。

ABSTRACT

Residual networks, which use a residual unit to supplement the identity mappings, enable very deep convolutional architecture to operate well, however, the residual architecture has been proved to be diverse and redundant, which may leads to low-efficient modeling. In this work, we propose a competitive squeeze-excitation (SE) mechanism for the residual network. Re-scaling the value for each channel in this structure will be determined by the residual and identity mappings jointly, and this design enables us to expand the meaning of channel relationship modeling in residual blocks. Modeling of the competition between residual and identity mappings cause the identity flow to control the complement of the residual feature maps for itself. Furthermore, we design a novel inner-imaging competitive SE block to shrink the consumption and re-image the global features of intermediate network structure, by using the inner-imaging mechanism, we can model the channel-wise relations with convolution in spatial. We carry out experiments on the CIFAR, SVHN, and ImageNet datasets, and the proposed method can challenge state-of-the-art results.

研究动机与目标

• 通过竞争与身份映射重新加权残差通道，以降低冗余并提高深度 ResNets 的效率。
• 将通道级注意力扩展到除残差特征外的身份流，在联合校准范式中实现。
• 引入内成像以重新成像中间通道特征，并用卷积算子建模通道关系。
• 提出成对视图和折叠内成像变体，以在低参数成本下探索多样的通道关系编码。

提出的方法

• 定义 CMPE-SE 块，它将来自残差映射和身份映射的 squeezed 信号连接起来，并学习联合激励权重。
• 通过将身份和残差特征的联合池化引入压缩阶段，将身份信息纳入 squeeze。
• 使用内成像将全局通道关系转换为空间映射，并应用卷积滤波以捕捉具有空间感知的通道依赖关系。
• 探索成对视图配置(2x1 和 1x1)以及折叠的 3x3 内成像变体，以在控制参数量的同时更丰富地建模通道关系。
• 在 CIFAR-10/100、SVHN 和 ImageNet 上将 CMPE-SE 块应用于标准 ResNet 和 Wide ResNet 骨干，使用标准训练协议和 mixup。

实验结果

研究问题

• RQ1 CMPE-SE 是否可以通过使身份流参与对残差通道进行再加权来提升 ResNet 的建模效率？
• RQ2 相较于标准 SE 块，内成像是否能够在残差网络中对通道关系进行更丰富的建模？
• RQ3 成对视图和折叠内成像变体是否在参数效率方面优于基础的 CMPE-SE 设计？
• RQ4 与 SE 块和基线 ResNet 相比，CMPE-SE 在 CIFAR、SVHN、ImageNet 数据集上的表现如何？

主要发现

• CMPE-SE 在 CIFAR 和 SVHN 上对 SE-ResNet 显著提升，降低错误率并在适度的参数开销下获得更好性能。
• 在 CIFAR-10/100 和 WRN 变体上，CMPE-SE 结合各种成对视图和折叠配置，其错误率低于 SE 块，某些 3x3 折叠成对视图变体带来显著提升。
• 在 ImageNet 上，CMPE-SE-ResNet-50 具有双 FC 或 1x1 成对视图的变体，在类似训练设置下的 top-1/top-5 错误率低于 SE-ResNet-50，显示可扩展收益。
• 相对于 SE-ResNet，CMPE-SE 在 CIFAR-10/100 的平均误差下降约 0.226%，在 WRN 架构上的相对改进更大。
• 折叠内成像提供与基本成对视图相媲美甚至略好结果，同时为通道关系编码提供更大多样性途径，并保持合理的参数成本。