[論文レビュー] CSPNet: A New Backbone that can Enhance Learning Capability of CNN

Chien-Yao Wang, Hong-Yuan Mark Liao+4 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 42被引用数 359

ひとこと要約

CSPNet は Cross Stage Partial Networks を導入し、冗長な勾配情報を削減することで、ImageNet および MS COCO で精度を維持または向上させつつ、計算量を最大約 ~20% 削減します。ResNet、ResNeXt、および DenseNet に適用可能です。

ABSTRACT

Neural networks have enabled state-of-the-art approaches to achieve incredible results on computer vision tasks such as object detection. However, such success greatly relies on costly computation resources, which hinders people with cheap devices from appreciating the advanced technology. In this paper, we propose Cross Stage Partial Network (CSPNet) to mitigate the problem that previous works require heavy inference computations from the network architecture perspective. We attribute the problem to the duplicate gradient information within network optimization. The proposed networks respect the variability of the gradients by integrating feature maps from the beginning and the end of a network stage, which, in our experiments, reduces computations by 20% with equivalent or even superior accuracy on the ImageNet dataset, and significantly outperforms state-of-the-art approaches in terms of AP50 on the MS COCO object detection dataset. The CSPNet is easy to implement and general enough to cope with architectures based on ResNet, ResNeXt, and DenseNet. Source code is at https://github.com/WongKinYiu/CrossStagePartialNetworks.

研究の動機と目的

• エッジデバイスに適した軽量CNNアーキテクチャの推進を、精度を犠牲にしない形で目指す。
• ステージ間の勾配フローを再設計することで、深層ネットワークにおける冗長な勾配情報に対処する。
• 学習容量を維持しつつ、計算量とメモリトラフィックを削減するクロスステージ部分的 (CSP) デザインを提案する。
• ResNet、ResNeXt、DenseNet のバックボーンへの適用性と、リアルタイム検出への利点を CSPNet で実証する。

提案手法

• 基底層のフィーチャーマップを二つの部分に分割する。片方は密結合ブロックを通過させ、もう片方は後で統合して勾配フローを多様化する。
• 部分的な密結合ブロックと部分的なトランジション層を用いて勾配フローを切り詰め、冗長な勾配情報を削減する。
• Exact Fusion Model (EFM) を導入し、物体検出のためにマルチスケール特徴をより良く統合し、Maxout を用いた特徴マップ圧縮を適用してメモリ帯域を抑制する。
• ImageNet および COCO 上で CSPNet のバリアントをデモンストレーションし、ベースラインと比較して FPS、FLOPs、AP 指標を報告する。
• ボトルネック層を用いずに CSPNet を ResNet/ResNeXt/DenseNet に適用できることを示し、メモリアクセスコストを低減する。

実験結果

リサーチクエスチョン

• RQ1 CSPNet は CNN バックボーンにおける計算上のボトルネックとメモリトラフィックを、精度を犠牲にすることなく低減できるか。
• RQ2 クロスステージ部分接続による勾配フローの切り詰めは、学習効率と勾配多様性を改善するか。
• RQ3 ResNet、ResNeXt、DenseNet のバックボーンと統合した場合、画像分類と物体検出タスクで CSPNet はどう機能するか。
• RQ4 One-stage 検出器に対するマルチスケール特徴の統合を Exact Fusion Model (EFM) は強化するか。
• RQ5 CPU やモバイル GPU プラットフォーム上での CSPNet のリアルタイム推論への影響は何か。

主な発見

• CSPNet は背 backbone にかかわらず ImageNet で約 10–20% の計算を削減し、同等以上の精度を達成する。
• MS COCO の物体検出では、CSPNet ベースのモデルが計算上のボトルネックを大幅に削減し、ベースラインと比較して AP50 を改善。
• 特定の構成（例: PeleeNet フィーチャーピラミッド生成）でメモリトラフィックを最大 75% 削減できる。
• EFM として Maxout ベースの圧縮と注意機構の変種を用いた場合、COCO で GFM や他の融合戦略と比較して AP および AP50 を改善。
• CSPNet バックボーンは顕著な FLOP 削減（例: CSPResNeXt-50 で約 ~22%）を達成し、ImageNet で競争力のあるまたは向上した top-1 精度を達成。
• CSPNet 対応検出器は GPU、CPU、エッジデバイス（例: Jetson TX2, i9-9900K）で量子化なしでもリアルタイム性能が望ましい。