[论文解读] Diverse Branch Block: Building a Convolution as an Inception-like Unit

Xiaohan Ding, Xiangyu Zhang+2 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neural Network Applications参考文献 36被引用 23

一句话总结

该论文提出Diverse Branch Block（DBB），一种通用的卷积神经网络基础模块，通过在训练阶段融合多尺度、多复杂度的分支（如1×1卷积、3×3卷积、平均池化）来增强特征表示能力，随后将整个模块重参数化为单个等效卷积层用于推理。该方法在不增加推理开销的前提下实现了性能提升，在ImageNet上最高实现1.9%的top-1准确率增益。

ABSTRACT

We propose a universal building block of Convolutional Neural Network (ConvNet) to improve the performance without any inference-time costs. The block is named Diverse Branch Block (DBB), which enhances the representational capacity of a single convolution by combining diverse branches of different scales and complexities to enrich the feature space, including sequences of convolutions, multi-scale convolutions, and average pooling. After training, a DBB can be equivalently converted into a single conv layer for deployment. Unlike the advancements of novel ConvNet architectures, DBB complicates the training-time microstructure while maintaining the macro architecture, so that it can be used as a drop-in replacement for regular conv layers of any architecture. In this way, the model can be trained to reach a higher level of performance and then transformed into the original inference-time structure for inference. DBB improves ConvNets on image classification (up to 1.9% higher top-1 accuracy on ImageNet), object detection and semantic segmentation. The PyTorch code and models are released at https://github.com/DingXiaoH/DiverseBranchBlock.

研究动机与目标

• 通过在训练阶段引入复杂结构、推理阶段无额外开销的方式，解决卷积神经网络中性能与推理成本之间的权衡问题。
• 克服标准卷积层在捕捉多样化感受野和层次化特征方面的局限性。
• 开发一种即插即用的基础模块，可无缝集成到ResNet等现有网络架构中，且无需改变其宏观结构。
• 通过结构重参数化实现性能提升，即将训练阶段复杂的微结构转换为高效的推理阶段单个卷积层。
• 证明多样化的连接方式与训练阶段的非线性特性可显著增强模型的表征能力，其增益超越单纯参数数量的提升。

提出的方法

• 在单个模块内设计多分支结构，结合1×1卷积、K×K卷积、平均池化和跳跃连接，以丰富特征空间。
• 引入结构重参数化技术，将训练后的多分支DBB转换为单个等效卷积层，从而保持推理效率。
• 在分支相加前使用批量归一化，引入训练阶段的非线性，增强优化过程中的模型容量。
• 应用六条转换规则（论文中总结），系统性地将任意DBB配置转换为单卷积等效形式。
• 在训练中使用完整的DBB结构，而推理时仅部署重参数化的单卷积版本，确保无运行时开销增加。
• 通过消融实验验证多样化连接与BN引入的非线性贡献，对比其与重复结构或纯线性组合变体的表现。

实验结果

研究问题

• RQ1 能否在不增加推理成本的前提下，有效训练一个复杂的多分支卷积模块，并将其转换为单个卷积层？
• RQ2 与相同或线性组合的分支相比，不同分支（如不同卷积核大小、池化、级联卷积）在多大程度上提升了模型性能？
• RQ3 与分支的线性组合相比，批量归一化引入的训练阶段非线性是否显著增强了DBB的表征能力？
• RQ4 DBB能否作为即插即用的替代模块集成到ResNet等现有架构中，而无需修改网络结构，同时实现一致的性能提升？
• RQ5 DBB带来的性能增益是源于更好的初始化，还是源于连接多样性带来的内在结构优势？

主要发现

• DBB在ImageNet上相比标准ResNet-18最高实现1.9%的top-1准确率增益，证明了其显著的性能提升效果。
• 从DBB中移除任意一个分支均导致准确率下降，证实每个组件均对模型的表征能力有独特贡献。
• 一个包含（K×K + 1×1 + 1×1-AVG）的DBB在性能上优于三重K×K模块（70.40% vs. 70.29%），尽管其训练阶段参数量减少2.3倍，证明连接多样性比参数数量更为关键。
• 弱容量组件（1×1卷积）与强容量组件（K×K卷积）的组合优于两个强组件（双K×K），表明结构多样性可提升学习能力，而不仅依赖参数数量的增加。
• 将批量归一化从分支相加前移至相加后，性能增益下降（69.54% → 69.59%），表明训练阶段的非线性对DBB的有效性至关重要。
• 使用DBB权重初始化的基线模型（未经训练）仅达到69.67%准确率，表明性能增益源于训练过程与结构设计，而非初始化。