[论文解读] Designing Network Design Strategies Through Gradient Path Analysis

Chien-Yao Wang, Hong-Yuan Mark Liao+1 more|arXiv (Cornell University)|Nov 9, 2022

Machine Learning and ELM被引用 179

一句话总结

本文倡导基于梯度路径的网络设计，提出层级、阶段和网络层面的策略（PRN、CSPNet、ELAN），以最大化梯度多样性并提升学习效率。

ABSTRACT

Designing a high-efficiency and high-quality expressive network architecture has always been the most important research topic in the field of deep learning. Most of today's network design strategies focus on how to integrate features extracted from different layers, and how to design computing units to effectively extract these features, thereby enhancing the expressiveness of the network. This paper proposes a new network design strategy, i.e., to design the network architecture based on gradient path analysis. On the whole, most of today's mainstream network design strategies are based on feed forward path, that is, the network architecture is designed based on the data path. In this paper, we hope to enhance the expressive ability of the trained model by improving the network learning ability. Due to the mechanism driving the network parameter learning is the backward propagation algorithm, we design network design strategies based on back propagation path. We propose the gradient path design strategies for the layer-level, the stage-level, and the network-level, and the design strategies are proved to be superior and feasible from theoretical analysis and experiments.

研究动机与目标

• 通过分析目标函数在反向传播中如何影响梯度流动，重新定义网络设计策略。
• 提出层级、阶段和网络层面的架构，以最大化梯度组合和传播效率。
• 展示梯度路径设计在理论与经验上的优于传统数据路径设计的优势。

提出的方法

• 提出分析反向梯度而不仅仅是前向特征路径的梯度路径设计策略。
• 开发 Partial Residual Network (PRN) 通过带遮罩及非对称残差层来增加梯度组合。
• 设计 Cross Stage Partial Network (CSPNet) 以最大化梯度源和时间戳，同时提高硬件效率。
• 提出 Efficient Layer Aggregation Network (ELAN) 以在网络扩展过程中优化梯度传播路径。
• 通过梯度时间戳和梯度源来分析梯度组合，以解释性能提升。
• 通过在 MS COCO 上对比 YOLOR-v3/YOLO-v5 基线，对比梯度路径设计与数据路径基线的消融实验。

实验结果

研究问题

• RQ1 梯度传播路径如何影响 CNN 的学习效率和参数利用率？
• RQ2 层级、阶段和网络层面的梯度路径设计是否能在精度和速度上带来相对于传统数据路径设计的可观提升？
• RQ3 梯度时间戳和梯度源对不同架构的网络性能有何影响？
• RQ4 PRN、CSPNet 和 ELAN 在目标检测与实例分割基准测试上的表现如何？

主要发现

• 与 YOLOR-v3 相比，PRN 在 COCO 的目标检测 AP 提升 0.5，实例分割 AP 提升 0.1/0.3。
• CSPNet 将 FLOPs 下降多达 30%，在保持或提升速度的同时可提高 AP（如目标检测提升 1.5%）。
• ELAN 在 YOLOR-ELAN 配置下实现最高 0.7% 的 AP 增益，并减少约 35% 的计算量。
• 停止梯度（stop-gradient）消融表明缩短梯度路径即可改善深层网络的收敛性。
• 在 PRN、CSPNet 和 ELAN 的广泛实验中，相比基线架构，在 COCO 上呈现出持续的性能提升。