[論文レビュー] DQ-DETR: DETR with Dynamic Query for Tiny Object Detection

Yi-Xin Huang, Hou-I Liu+2 more|arXiv (Cornell University)|Apr 4, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

DQ-DETR は、カテゴリカルカウントモジュールと密度に配慮した特徴強化を用いて、オブジェクトクエリの数と位置符号化を動的に調整することで、空中画像における微小オブジェクト検出を向上させる動的クエリメカニズムを提案する。AI-TOD-V2 データセット上で 30.2% の最先端の mAP を達成し、先行手法を顕著に上回る性能を発揮する。

ABSTRACT

Despite previous DETR-like methods having performed successfully in generic object detection, tiny object detection is still a challenging task for them since the positional information of object queries is not customized for detecting tiny objects, whose scale is extraordinarily smaller than general objects. Also, DETR-like methods using a fixed number of queries make them unsuitable for aerial datasets, which only contain tiny objects, and the numbers of instances are imbalanced between different images. Thus, we present a simple yet effective model, named DQ-DETR, which consists of three different components: categorical counting module, counting-guided feature enhancement, and dynamic query selection to solve the above-mentioned problems. DQ-DETR uses the prediction and density maps from the categorical counting module to dynamically adjust the number of object queries and improve the positional information of queries. Our model DQ-DETR outperforms previous CNN-based and DETR-like methods, achieving state-of-the-art mAP 30.2% on the AI-TOD-V2 dataset, which mostly consists of tiny objects. Our code will be available at https://github.com/hoiliu-0801/DQ-DETR.

研究の動機と目的

• 空中画像における極端なインスタンス数の不均衡に起因する、固定クエリを持つ DETR に類するモデルの限界を是正すること。
• スパースおよび密なシーンの両方における検出リ콜を向上させるために、オブジェクトクエリの数を動的に調整すること。
• 密度マップと視覚的特徴を統合することで、微小オブジェクトの位置認識能を向上させること。
• クエリの数と位置の適応によって、スパース画像における誤検出と密な画像における見逃しを低減すること。
• 画像ごとのインスタンス密度に基づいてクエリ数を最適化する、データセットに依存しないカテゴリカルカウントモジュールを設計すること。

提案手法

• データセット統計に基づき、インスタンス数を4段階（N ≤ 10、10 < N ≤ 100、100 < N ≤ 500、N > 500）に分類するカテゴリカルカウントモジュールを導入する。
• 予測されたカウントクラスを用いて、トランスフォーマーのデコーダーでオブジェクトクエリの数を動的に設定し、固定Kの制限を回避する。
• カウントモジュールから得た密度マップをエンコーダー特徴と統合し、微小オブジェクトの前方表現を強化する。
• 強化された特徴マップを用いて、オブジェクトクエリの位置符号化を精錬し、局所化精度を向上させる。
• 予測インスタンスの空間的分布に基づいてクエリ位置を調整する学習可能なクエリ選択メカニズムを採用する。
• 画像ごとのインスタンス数の平均と分散を計算する疑似コードパイプラインを用い、手動で設計されたしきい値なしにカウントカテゴリを自動定義する。

実験結果

リサーチクエスチョン

• RQ1 極端に不均衡なインスタンス数を持つ空中画像における微小オブジェクト検出において、動的クエリメカニズムは性能向上をもたらすか？
• RQ2 クエリ数を動的に調整することで、スパースおよび密なシーンにおけるリCALLとPRECISIONにどのような影響を与えるか？
• RQ3 視覚的特徴と密度マップを統合することで、微小オブジェクトの局所化精度はどの程度向上するか？
• RQ4 データセット統計に基づいて学習されたカテゴリカルカウントモジュールは、手動でのしきい値チューニングなしに異なる空中データセットに一般化可能か？
• RQ5 固定クエリおよび密クエリを持つ DETR の変種と比較して、提案手法は mAP および微小オブジェクトの AP においてどのように性能を発揮するか？

主な発見

• DQ-DETR は AI-TOD-V2 データセットで 30.2% の最先端の mAP を達成し、以前の最先端手法より AP で 16.6%、APvt で 20.5% 以上優れている。
• 4クラスのカテゴリカルカウントモジュールは全体で 94.6% の分類精度を達成し、インスタンス数 ≤10 の画像では 97.7% の精度を示す。
• 4クラスではなく5クラスに分類すると、N > 500 のレアな高密度ケースで性能が著しく低下し、mAP が 1.4 ポints 減少する。これはクラスの不均衡処理の重要性を裏付ける。
• アブレーションスタディの結果、カウント誘導クエリ調整と密度強化特徴の組み合わせにより、ベースラインの DINO-DETR よりも AP が 4.3 ポイント向上する。
• 可視化結果から、Deformable-DETR よりも誤検出と見逃しの少ないより情報量の多い特徴マップを DQ-DETR が生成することが確認された。
• 本手法は、インスタンス密度に応じてクエリ数と位置を適応させることで、密な画像における誤検出とスパースな画像における見逃しを効果的に低減している。