[论文解读] ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

Xiaohan Ding, Yuchen Guo+2 more|arXiv (Cornell University)|Aug 11, 2019

Advanced Neural Network Applications参考文献 35被引用 87

一句话总结

ACNet 引入非对称卷积块（ACB），在训练时丰富现成的 CNN，随后再融合回原始架构，推理成本不增加，从而提升准确性和对旋转畸变的鲁棒性。

ABSTRACT

As designing appropriate Convolutional Neural Network (CNN) architecture in the context of a given application usually involves heavy human works or numerous GPU hours, the research community is soliciting the architecture-neutral CNN structures, which can be easily plugged into multiple mature architectures to improve the performance on our real-world applications. We propose Asymmetric Convolution Block (ACB), an architecture-neutral structure as a CNN building block, which uses 1D asymmetric convolutions to strengthen the square convolution kernels. For an off-the-shelf architecture, we replace the standard square-kernel convolutional layers with ACBs to construct an Asymmetric Convolutional Network (ACNet), which can be trained to reach a higher level of accuracy. After training, we equivalently convert the ACNet into the same original architecture, thus requiring no extra computations anymore. We have observed that ACNet can improve the performance of various models on CIFAR and ImageNet by a clear margin. Through further experiments, we attribute the effectiveness of ACB to its capability of enhancing the model's robustness to rotational distortions and strengthening the central skeleton parts of square convolution kernels.

研究动机与目标

• 提出可插入现有模型而无需人工重新设计或超参数调优的架构中立型 CNN 改进。
• 提出非对称卷积块（ACB），通过并行的 3×3、1×3 和 3×1 卷积来丰富方形核。
• 证明 ACNet 在 CIFAR 与 ImageNet 上获得更高的准确性，并且可转换回原始架构，输出等效结果。
• 研究 ACB 如何提升性能，聚焦于骨架（中心）卷积权重以及对旋转畸变的鲁棒性。

提出的方法

• 用包含 3×3、1×3 和 3×1 分支的 ACB 替换每个 3×3 卷积，其输出相加。
• 端到端训练 ACNet；融合 BN 和分支以获得推理时等效的标准卷积，且无额外成本。
• BN 融合和分支融合步骤，将 BN 参数合并到卷积核中，并将融合后的卷积核相加成单一标准层。
• 在 CIFAR-10/100 和 ImageNet 上对比基线架构（Plain、ResNet、DenseNet、AlexNet）进行多模型的实证验证。

实验结果

研究问题

• RQ1 用 ACB 替换标准方形核层是否会提升常见 CNN 基准测试的准确性？
• RQ2 ACNet 是否可以在不改变推理成本或结果的情况下转换回原始架构？
• RQ3 水平/垂直不对称性和 BN 放置在性能提升和鲁棒性方面的贡献有多大？
• RQ4 增益是否归因于强化核骨架，核位置扰动如何影响性能？
• RQ5 ACNet 是否在实际中提升对旋转畸变（如旋转、翻转）的鲁棒性？

主要发现

• ACNet 在 CIFAR-10 的 Top-1 分数普遍提升：例如 Cifar-quick 从 83.13 提升到 84.24，ResNet-56 从 94.31 提升到 95.09，WRN-16-8 从 95.56 提升到 96.15，DenseNet-40 从 94.29 提升到 94.84。
• 在 CIFAR-100 上，对若干基线提升（如 ResNet-56 从 73.58 提升到 74.04）。
• 在 ImageNet 上，ACNet 将 AlexNet 提升 1.52%（Top-1），ResNet-18 提升 0.78%（Top-1）；DenseNet-121 提升 0.67%（Top-1）。
• 消融研究表明去除分支中任意水平/垂直 BN 或 BN 放置都会降低性能；水平卷积提高对旋转畸变（如 180° 旋转）在 ResNet-18 的鲁棒性。
• 骨架权重（中心卷积位置）比角落权重更关键；ACNet 进一步加强骨架，促成性能提升。
• ACNet 不引入超参数，不增加推理成本，可以在 PyTorch/TensorFlow 实现；但训练流程因分支融合动态而不同。