[論文レビュー] Designing Network Design Strategies Through Gradient Path Analysis

Chien-Yao Wang, Hong-Yuan Mark Liao+1 more|arXiv (Cornell University)|Nov 9, 2022

Machine Learning and ELM被引用数 179

ひとこと要約

本論文は勾配パスに基づくネットワーク設計を提案し、層レベル、ステージレベル、ネットワークレベルの戦略（PRN、CSPNet、ELAN）を用いて勾配の多様性を最大化し学習効率を高める。

ABSTRACT

Designing a high-efficiency and high-quality expressive network architecture has always been the most important research topic in the field of deep learning. Most of today's network design strategies focus on how to integrate features extracted from different layers, and how to design computing units to effectively extract these features, thereby enhancing the expressiveness of the network. This paper proposes a new network design strategy, i.e., to design the network architecture based on gradient path analysis. On the whole, most of today's mainstream network design strategies are based on feed forward path, that is, the network architecture is designed based on the data path. In this paper, we hope to enhance the expressive ability of the trained model by improving the network learning ability. Due to the mechanism driving the network parameter learning is the backward propagation algorithm, we design network design strategies based on back propagation path. We propose the gradient path design strategies for the layer-level, the stage-level, and the network-level, and the design strategies are proved to be superior and feasible from theoretical analysis and experiments.

研究の動機と目的

• 目的関数が逆伝播中の勾配フローに与える影響を分析することによって、ネットワーク設計戦略を再定義する。
• 勾配の組み合わせと伝搬効率を最大化する層レベル・ステージレベル・ネットワークレベルのアーキテクチャを提案する。
• 伝統的なデータパス設計に対する勾配パス設計の理論的および実証的な利点を示す。

提案手法

• 後方勾配を分析し、単に前方の特徴パスだけでなく勾配パス設計戦略を導入する。
• 勾配組み合わせを増やすため、マスク付き・非対称な残差層を備えた Partial Residual Network (PRN) を開発する。
• 勾配源とタイムスタンプを最大化しつつハードウェア効率を向上させる Cross Stage Partial Network (CSPNet) を設計する。
• ネットワークスケーリング中の勾配伝搬パスを最適化する Efficient Layer Aggregation Network (ELAN) を提案する。
• 勾配タイムスタンプと勾配源を用いた勾配組み合わせを分析し、性能向上を説明する。
• MS COCO 上のアブレーションを通じて、YOLOR-v3/YOLO-v5 のベースラインを用いたデータパスと比較し、勾配パス設計を評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配伝搬パスはCNNにおける学習効率とパラメータ利用にどのような影響を与えるか？
• RQ2 層レベル・ステージレベル・ネットワークレベルの勾配パス設計は、従来のデータパス設計よりも精度と速度の測定可能な向上をもたらすか？
• RQ3 勾配タイムスタンプと勾配源がアーキテクチャを跨いだネットワーク性能に与える影響は何か？
• RQ4 PRN、CSPNet、ELANは物体検出とインスタンス分割のベンチマークでどのように性能を発揮するか？

主な発見

• PRNはCOCOで物体検出APを0.5、インスタンス分割APを0.1/0.3向上させ、YOLOR-v3と比較。
• CSPNetはFLOPsを最大30%削減し、APを向上させる可能性があり（例: 物体検出で1.5%）、速度を維持または向上させる。
• ELANはYOLOR-ELAN構成で最大0.7%のAP向上を、計算量を35%削減して達成。
• ストップ勾配アブレーションは勾配パスを短縮することで深層ネットワークの収束を改善できることを示す。
• PRN、CSPNet、ELANを横断した実験は、COCOでベースラインアーキテクチャに対して一貫した利得を示す。