[論文レビュー] DPNet: Dual-Path Network for Real-time Object Detection with Lightweight Attention

Quan Zhou, Huimin Shi+4 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

DPNetは、リアルタイムオブジェクト検出における特徴表現を向上させるために、軽量な自己相関モジュール（LSCM）とクロス相関モジュール（LCCM）を備えた二重パスバックボーンを提案する。並列パスと効率的なアテンションを用いて高レベルの意味的特徴と低レベルの詳細を統合することで、320×320解像度で1.04 GFLOPs、164 FPSの計算コストでMS COCOで30.5% APという最先端の精度を達成した。

ABSTRACT

The recent advances of compressing high-accuracy convolution neural networks (CNNs) have witnessed remarkable progress for real-time object detection. To accelerate detection speed, lightweight detectors always have few convolution layers using single-path backbone. Single-path architecture, however, involves continuous pooling and downsampling operations, always resulting in coarse and inaccurate feature maps that are disadvantageous to locate objects. On the other hand, due to limited network capacity, recent lightweight networks are often weak in representing large scale visual data. To address these problems, this paper presents a dual-path network, named DPNet, with a lightweight attention scheme for real-time object detection. The dual-path architecture enables us to parallelly extract high-level semantic features and low-level object details. Although DPNet has nearly duplicated shape with respect to single-path detectors, the computational costs and model size are not significantly increased. To enhance representation capability, a lightweight self-correlation module (LSCM) is designed to capture global interactions, with only few computational overheads and network parameters. In neck, LSCM is extended into a lightweight crosscorrelation module (LCCM), capturing mutual dependencies among neighboring scale features. We have conducted exhaustive experiments on MS COCO and Pascal VOC 2007 datasets. The experimental results demonstrate that DPNet achieves state-of the-art trade-off between detection accuracy and implementation efficiency. Specifically, DPNet achieves 30.5% AP on MS COCO test-dev and 81.5% mAP on Pascal VOC 2007 test set, together mwith nearly 2.5M model size, 1.04 GFLOPs, and 164 FPS and 196 FPS for 320 x 320 input images of two datasets.

研究の動機と目的

• 過剰にダウンサンプリングされるため、細粒度のオブジェクト詳細を失う単一パスの軽量検出器の限界を解消すること。
• モデルサイズや計算コストを著しく増加させることなく、軽量ネットワークにおける特徴表現を向上させること。
• ネックモジュールにおける効果的なスケール間特徴相互作用を可能にすること。
• 最小限の計算オーバーヘッドでグローバルな依存関係を捉える軽量アテンション機構を設計すること。
• リアルタイムオブジェクト検出において、精度、モデルサイズ、推論速度の新しいSOTAトレードオフを達成すること。

提案手法

• 高解像度および低解像度特徴を別々に処理することで、意味的文脈と空間的詳細の両方を保持する二重パスバックボーンアーキテクチャ（HRPおよびLRP）を提案する。
• バックボーンに軽量自己相関モジュール（LSCM）を導入し、パラメータを削減した空間プーリングとチャネルワイド相関を用いてグローバル特徴依存関係をモデル化する。
• ネック部に軽量クロス相関モジュール（LCCM）を採用し、特徴ピラミッド間の双方向統合を実現することで、スケール間特徴相互作用を強化する。
• 深度方向分離畳み込みとチャネル圧縮（圧縮比r）を用いて、計算効率を維持しながらアテンション計算を可能にする。
• LCCMで双方向統合戦略を採用し、トップダウンおよびボトムアップの特徴精錬を組み合わせることで、特徴表現を向上させる。
• コンact ConvBlocksを用いた軽量検出ヘッドを採用し、速度とモデルサイズを維持する。

実験結果

リサーチクエスチョン

• RQ1 二重パスバックボーンアーキテクチャは、高レベルの意味的特徴を保持すると同時に低レベルの詳細を維持することで、軽量オブジェクト検出器における特徴表現を向上させることができるか？
• RQ2 軽量自己相関モジュール（LSCM）は、計算コストを最小限に抑えながら、どの程度グローバル特徴モデリングを向上させることができるか？
• RQ3 提案された軽量クロス相関モジュール（LCCM）は、標準のFPNやPAFPNと比較して、マルチスケール特徴の統合においてどの程度効果的か？
• RQ4 LSCMにおけるプーリングサイズと圧縮比の最適なトレードオフは何か？精度と効率のバランスを取るために。
• RQ5 提案されたDPNetは、MS COCO や Pascal VOC 2007 といった標準ベンチマークで、精度と推論速度の両面で新しいSOTAを達成できるか？

主な発見

• MS COCO test-devで30.5% APを達成し、軽量リアルタイム検出器における新たなSOTAを樹立した。
• Pascal VOC 2007では81.5% mAPを達成し、既存の軽量モデルを上回りながらも高い速度を維持した。
• 1.04 GFLOPs、250万パラメータで、320×320入力画像に対して164 FPSで実行され、高い推論効率を示した。
• アブレーションスタディの結果、トップダウンおよびボトムアップの両LCCMパスを組み合わせた場合が最良のパフォーマンスを示し（FPN比1.3% AP向上、BFP比1.1% AP向上）、FLOPsの増加は最小限だった。
• 最適なLSCM設定は、プーリングサイズ5、圧縮比8であり、28.8% APを達成し、計算コストは低く（279万パラメータ、1.20 GFLOPs）なった。
• LCCMは242万パラメータ、1.20 GFLOPsで実装され、AP、AP50、AP75のすべての指標でPAFPNおよびBFPを上回り、著しく効率的であった。