[論文レビュー] Dynamic Refinement Network for Oriented and Densely Packed Object Detection

Xingjia Pan, Yuqiang Ren+6 more|arXiv (Cornell University)|May 20, 2020

Advanced Neural Network Applications参考文献 54被引用数 14

ひとこと要約

本稿では、方向付きで密に配置されたオブジェクト検出のための動的精錬ネットワーク（DRN）を提案する。特徴選択モジュール（FSM）を導入し、オブジェクトの形状や方向に応じて受容 field を適応的に調整することで、特徴表現を向上させる。また、オブジェクトに特化した分類と回帰の精錬を実行する2つの動的精錬ヘッド（DRH-C および DRH-R）を提案する。本手法は、DOTA、HRSC2016、SKU110K-Rベンチマークにおいて一貫した顕著な性能向上を達成し、AP50で最大65.7%、AP75で36.9%の向上を示す一方で、パラメータの追加は最小限に抑えられる。

ABSTRACT

Object detection has achieved remarkable progress in the past decade. However, the detection of oriented and densely packed objects remains challenging because of following inherent reasons: (1) receptive fields of neurons are all axis-aligned and of the same shape, whereas objects are usually of diverse shapes and align along various directions; (2) detection models are typically trained with generic knowledge and may not generalize well to handle specific objects at test time; (3) the limited dataset hinders the development on this task. To resolve the first two issues, we present a dynamic refinement network that consists of two novel components, i.e., a feature selection module (FSM) and a dynamic refinement head (DRH). Our FSM enables neurons to adjust receptive fields in accordance with the shapes and orientations of target objects, whereas the DRH empowers our model to refine the prediction dynamically in an object-aware manner. To address the limited availability of related benchmarks, we collect an extensive and fully annotated dataset, namely, SKU110K-R, which is relabeled with oriented bounding boxes based on SKU110K. We perform quantitative evaluations on several publicly available benchmarks including DOTA, HRSC2016, SKU110K, and our own SKU110K-R dataset. Experimental results show that our method achieves consistent and substantial gains compared with baseline approaches. The code and dataset are available at https://github.com/Anymake/DRN_CVPR2020.

研究の動機と目的

• オブジェクト検出における軸に揃った受容 field と、任意の方向を向いた密に配置されたオブジェクトとの間の不整合を解消すること。
• 推論中に静的モデル予測の代わりに、動的でオブジェクトに特化した精錬を用いることで、柔軟でサンプル固有の推論を可能にすること。
• 汎用的知識に基づいて学習されたモデルと、現実世界の方向付きオブジェクトの具体的な要件との間の一般化ギャップを克服すること。
• 方向付きバウンディングボックスを備えた、完全にアノテートされた新規ベンチマーク、SKU110K-Rを提供すること、これにより本チャレンジングな検出設定における研究を支援する。

提案手法

• 特徴選択モジュール（FSM）は、学習可能なスプリットベースのカーネル（例：1×3 および 3×1）を用いて、オブジェクトの形状や方向に合わせて受容 field を動的に調整し、特徴表現を向上させる。
• 2つの動的精錬ヘッド（DRH-C および DRH-R）を導入する：DRH-C はオブジェクト固有の特徴に適応することで分類スコアを精錬し、DRH-R はスケール、角度、オフセットの回帰出力をオブジェクトに特化した形で精錬する。
• FSM はマルチスプリットアーキテクチャを用いることで、形状と回転の2つの自由度を実現し、ニューロンがオブジェクトの幾何構造に基づいて関連する空間領域に選択的に注目できるようにする。
• DRH は入力特徴に条件付けられた動的フィルタを用いて実装されており、モデルパラメータを顕著に増加させることなく、サンプル固有の予測精錬を可能にする。
• 本手法は、角度予測ヘッドを追加したCenterNetに基づいて構築されており、全フレームワークは標準の検出損失関数を用いてエンドツーエンドで訓練される。
• 新規データセットであるSKU110K-Rは、元のSKU110Kを方向付きバウンディングボックスで再アノテートすることで構築され、方向付きオブジェクト検出における評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 動的受容 field の適応は、方向付きで密に配置されたオブジェクトの特徴表現を向上させ得るか？
• RQ2 オブジェクトに特化した動的精錬ヘッドは、モデルの複雑性を増加させずに検出精度を向上させ得るか？
• RQ3 本手法は、多様なオブジェクトの方向と密な配置を有するベンチマークでどのように性能を発揮するか？
• RQ4 新規のSKU110K-Rデータセットは、方向付きオブジェクト検出モデルの評価をどの程度向上させるか？

主な発見

• 提案されたDRNは、DOTAバリデーションセットでAP50が65.7%、AP75が36.9%を達成し、ベースラインと比べてそれぞれ2.3%ずつ向上した。
• DRH-Cヘッドは分類精度を0.21から0.32に、再現率を0.81から0.89に向上させ、中心点の局所化精度が向上したことを示した。
• DRH-Rヘッドはスケール回帰のL1誤差を1.24減少させ、AP50とAP75をそれぞれ0.7%と0.6%向上させ、回帰精錬の有効性を示した。
• FSMはAP50を63.4%から64.4%、AP75を34.6%から35.7%に向上させ、受容 field の不整合を緩和する役割を果たしていることを確認した。
• FSM と DRH-R を両方備えた完全なDRNは、パラメータをわずか0.13M増加させ、推論時間を26%（0.078秒から0.102秒）延長するにとどまり、高い効率性を示した。
• 本手法は、DOTA、HRSC2016、SKU110K-Rといった複数のベンチマークで一貫した向上を示し、優れた一般化性能を有していることが確認された。