[论文解读] Deep Convolutional Neural Networks with Merge-and-Run Mappings

Li-Ming Zhao, Jingdong Wang+3 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 38被引用 34

一句话总结

本文提出深度合并-运行神经网络（DMRNet），一种新型网络架构，通过使用合并-运行映射实现残差分支的并行化，从而改进残差网络：先对输入进行平均（合并），再将平均值加到每个分支的输出上（运行）。该方法减少了网络深度，通过线性幂等变换增强信息流动，并实现了最先进性能，包括在CIFAR-10上3.57%的测试误差和在SVHN上1.51%的测试误差，优于参数量相当的ResNets。

ABSTRACT

A deep residual network, built by stacking a sequence of residual blocks, is easy to train, because identity mappings skip residual branches and thus improve information flow. To further reduce the training difficulty, we present a simple network architecture, deep merge-and-run neural networks. The novelty lies in a modularized building block, merge-and-run block, which assembles residual branches in parallel through a merge-and-run mapping: Average the inputs of these residual branches (Merge), and add the average to the output of each residual branch as the input of the subsequent residual branch (Run), respectively. We show that the merge-and-run mapping is a linear idempotent function in which the transformation matrix is idempotent, and thus improves information flow, making training easy. In comparison to residual networks, our networks enjoy compelling advantages: they contain much shorter paths, and the width, i.e., the number of channels, is increased. We evaluate the performance on the standard recognition tasks. Our approach demonstrates consistent improvements over ResNets with the comparable setup, and achieves competitive results (e.g., $3.57\%$ testing error on CIFAR-$10$, $19.00\%$ on CIFAR-$100$, $1.51\%$ on SVHN).

研究动机与目标

• 通过改善信息流动并缩短有效路径，降低极深网络的训练难度。
• 提出一种新的模块化构建模块——合并-运行模块，将残差分支并行组合，增加宽度并减少深度。
• 证明合并-运行映射是一种线性幂等函数，可实现更快的梯度传播并保证训练稳定。
• 验证通过合并-运行映射增加宽度，相较于增加深度，对极深网络更具有效性。
• 表明通过合并-运行映射实现的残差分支间交互，可提升表征学习能力，超越简单的跳跃连接。

提出的方法

• 引入合并-运行模块，通过两步映射并行处理多个残差分支：先对输入进行平均（合并），再将平均值加到每个分支的输出上（运行）。
• 将合并-运行映射建模为具有幂等矩阵的线性变换，确保重复应用不会改变输出，从而稳定信息流动。
• 推导出变换矩阵满足幂等性（M² = M），理论上可保证快速梯度反向传播并缓解梯度消失问题。
• 通过堆叠多个合并-运行模块构建深层网络，相比串行残差模块，显著缩短了有效路径。
• 在CIFAR-10、CIFAR-100、SVHN和ImageNet等标准基准上，与ResNets及其他变体进行实证比较。
• 通过将合并-运行映射推广为K×K块矩阵，并在身份块中引入1/K缩放，将方法扩展至K分支配置。

实验结果

研究问题

• RQ1 通过新型合并-运行映射并行组合残差分支，是否能相比串行残差模块降低训练难度并提升性能？
• RQ2 作为线性幂等函数的合并-运行映射，是否能增强深层网络中的信息与梯度流动？
• RQ3 合并-运行映射带来的性能提升，是源于表征学习的改进还是正则化效应？
• RQ4 通过合并-运行映射增加宽度，与增加深度或其他宽度增加机制（如Inception或DenseNet）相比，效果如何？
• RQ5 合并-运行映射能否推广至超过两个残差分支的配置？在该类配置中是否仍能保持性能增益？

主要发现

• 合并-运行映射是一种线性幂等函数，其变换矩阵满足M² = M，确保信息与梯度流动稳定高效。
• DMRNet在CIFAR-10上达到3.57%的top-1测试误差，优于相同深度的ResNet-101（4.99%），并在此设置下创下新SOTA纪录。
• 在CIFAR-100上，DMRNet实现19.00%的top-1误差，优于ResNet-101的23.66%，并在多种深度设置下表现出一致优势。
• 在SVHN上，DMRNet实现1.51%的top-1误差，显著优于ResNet-101的2.37%，并达到或超过当前最先进结果。
• 训练与验证误差曲线显示，DMRNet在所有训练轮次中均持续优于ResNet-101，表明其泛化能力和表征学习能力更强，而不仅依赖正则化。
• 消融实验确认，合并-运行映射引入的交互作用具有显著益处——DMRNet在共享首层和末层时，性能优于仅使用恒等映射的类似网络，即使两者架构相同。