[論文レビュー] GiraffeDet: A Heavy-Neck Paradigm for Object Detection

Yiqi Jiang, Zhiyu Tan+4 more|arXiv (Cornell University)|Feb 9, 2022

Advanced Neural Network Applications被引用数 74

ひとこと要約

GiraffeDetは、密な多尺度特徴融合を実現する深く柔軟なGeneralized-FPNネックを備えた軽量なSpace-to-Depthバックボーンを導入し、COCOにおけるさまざまなFLOPs予算で高い精度を達成します。

ABSTRACT

In conventional object detection frameworks, a backbone body inherited from image recognition models extracts deep latent features and then a neck module fuses these latent features to capture information at different scales. As the resolution in object detection is much larger than in image recognition, the computational cost of the backbone often dominates the total inference cost. This heavy-backbone design paradigm is mostly due to the historical legacy when transferring image recognition models to object detection rather than an end-to-end optimized design for object detection. In this work, we show that such paradigm indeed leads to sub-optimal object detection models. To this end, we propose a novel heavy-neck paradigm, GiraffeDet, a giraffe-like network for efficient object detection. The GiraffeDet uses an extremely lightweight backbone and a very deep and large neck module which encourages dense information exchange among different spatial scales as well as different levels of latent semantics simultaneously. This design paradigm allows detectors to process the high-level semantic information and low-level spatial information at the same priority even in the early stage of the network, making it more effective in detection tasks. Numerical evaluations on multiple popular object detection benchmarks show that GiraffeDet consistently outperforms previous SOTA models across a wide spectrum of resource constraints. The source code is available at https://github.com/jyqi/GiraffeDet.

研究の動機と目的

• 従来の重いバックボーン設計から、より軽量なバックボーンと深いネックを組み合わせて物体検出の効率を向上させる動機付け。
• 追加の計算負荷をかけずに多尺度特徴抽出を維持する軽量バックボーンを設計する。
• 高レベルの意味情報と低レベルの空間的細部との間で密なクロススケール情報交換を可能にする重いネック融合モジュール（Generalized-FPN）を開発する。

提案手法

• 低計算量で多尺度特徴を抽出する背景として、軽量な Space-to-Depth Chain (S2D-Chain)を提案する。
• Queen-fusionスタイルのクロススケール結合とスキップレイヤーリンク（dense-linkとlog2n-link）を備えた Generalized-FPN (GFPN) を導入し、スケールとレイヤー間で広範な情報交換を可能にする。
• 深さphi_dと幅phi_wの2パラメータスケーリング方式を採用し、GFPNの深さと幅を変化させたGiraffeDetモデルのファミリーを生成する。
• 軽量なS2D-chainの上にGFPNを用いた重いネック設計を適用し、検出ヘッド（GFocalV2）とアンカーアサイナー（ATSS）と結合する。
• 重いネック仮説を検証するため、スキップレイヤー戦略（dense vs log2n）、クロススケール接続（Queen-fusion）、バックボーン対ネックの寄与を比較するアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 物体検出における効果的な多尺度特徴抽出には軽量バックボーンで十分か、それとも性能のためには重いネック融合がより重要か？
• RQ2 GFPNにおけるさまざまなクロススケール融合戦略（Queen-fusionを含む、およびskip-layerリンク）が、さまざまなFLOPs予算下で検出精度にどのように影響するか？
• RQ3 GFPNの深さと幅をスケールさせることで、バックボーンを拡張せずに計算予算の範囲で最先端の精度を達成できるか？
• RQ4 COCOで高い性能を達成する上で、ネック（GFPN）とバックボーン（S2D-chain）の相対的重要性はどの程度か？
• RQ5 変形畳み込み（DCN）はGiraffeDetフレームワーク内で性能をさらに向上させるか？

主な発見

• GiraffeDetは、COCOで一致したFLOPs予算下で従来のSOTAモデルを一貫して上回る。
• 軽量なS2D-chainバックボーンと深いGFPNネックを組み合わせることで、特に小さいおよび大きいインスタンスを含むさまざまなオブジェクトサイズに対して強い検出性能を達成する。
• GFPNはlog2nスキップレイヤー接続とQueen-fusionクロススケール経路を備え、高レベルの意味情報と低レベルの空間情報の交換を効果的に可能にする。
• GFPNの深さと幅のスケーリング（phi_dとphi_w）は、広範なFLOPs範囲をカバーしつつ競争力のある精度を維持する6つのGiraffeDetバリアントを生み出せる。
• DCNを強化したGFPNバリアントは顕著なAPの向上をもたらし、提案されたネックとDCNの組み合わせのメリットを裏付ける。