[論文レビュー] Background Semantics Matter: Cross-Task Feature Exchange Network for Clustered Infrared Small Target Detection

Mengxuan Xiao, Zhu, Yinfei+6 more|arXiv (Cornell University)|Jul 29, 2024

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本論文では、クロスタスク特徴ハード交換を用いて赤外小標的検出と背景セマンティックセグメンテーションを同時に実行するマルチタスクネットワークBAFE-Netを提案する。これにより、クラスタ化された標的状況における検出精度が著しく向上し、誤検出が低減される。本手法は、ピクセル単位の背景セマンティクスを備えた新しいスカイアノテートドデータセットDenseSIRST上で検証され、標的をスカイ領域にのみ貼り付けることでトレーニングを強化する、新たなデータオーグメンテーション戦略BAG-CPを含む。

ABSTRACT

Infrared small target detection presents significant challenges due to the limited intrinsic features of the target and the overwhelming presence of visually similar background distractors. We contend that background semantics are critical for distinguishing between objects that appear visually similar in this context. To address this challenge, we propose a task, clustered infrared small target detection, and introduce DenseSIRST, a benchmark dataset that provides per-pixel semantic annotations for background regions. This dataset facilitates the shift from sparse to dense target detection. This dataset facilitates the shift from sparse to dense target detection. Building on this resource, we propose the Background-Aware Feature Exchange Network (BAFE-Net), a multi-task architecture that jointly tackles target detection and background semantic segmentation. BAFE-Net incorporates a dynamic cross-task feature hard-exchange mechanism, enabling the effective exchange of target and background semantics between the two tasks. Comprehensive experiments demonstrate that BAFE-Net significantly enhances target detection accuracy while mitigating false alarms. The DenseSIRST dataset, along with the code and trained models, is publicly available at https://github.com/GrokCV/BAFE-Net.

研究の動機と目的

• 従来の手法が、干渉要因と視覚的に類似しているために失敗する複雑な背景におけるクラスタ化された赤外小標的検出の課題に対処すること。
• スパース標的を焦点にした手法の限界を克服し、密なクラスタ化標的シナリオに特化した新しい検出パラダイムを導入すること。
• 背景セマンティクスを活用して、建物のような非一様背景においても、本物の標的と誤検出を区別する能力を向上させること。
• 背景領域のピクセル単位のセマンティックアノテーションを備えた新しいベンチマークデータセットDenseSIRSTを構築し、密な標的検出研究を可能にすること。
• 標的にスカイ領域にのみ貼り付けることで、トレーニング中に誤検出を回避する、新たなデータオーグメンテーション手法BAG-CPを提案すること。

提案手法

• 共通バックボーンとタスク固有ヘッドを用いて、赤外小標的検出と背景セマンティックセグメンテーションを同時に実行するマルチタスクアーキテクチャBAFE-Netを提案する。
• 検出ヘッドとセグメンテーションヘッド間で双方向かつハードアテンションベースの特徴転送を可能にするクロスタスク特徴ハード交換機構を実装し、特徴の識別能を向上させる。
• ガウスブレンドを用いてスカイ領域にのみ標的を効果的に貼り付ける、背景認識ガウスコピーパステ（BAG-CP）オーグメンテーション手法を設計し、複雑な背景での誤検出を回避する。
• アブレーションの結果、特徴の豊かさと計算効率のバランスを最適化するため、ResNet50を最適なバックボーンとして特定する。
• DenseSIRSTベンチマーク上で、検出とセグメンテーションの目的関数を組み合わせたマルチタスク損失を用いてエンドツーエンドでモデルを訓練し、mAPおよびリcallの最適化を図る。
• セグメンテーションヘッドが非標的で高活性化を持つ背景領域を抑制するよう特徴学習プロセスに背景セマンティクスを統合することで、誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 明示的な背景セマンティクスのモデリングが、クラスタ化された赤外小標的検出における性能向上に寄与するか？
• RQ2 検出ヘッドとセグメンテーションヘッド間のクロスタスク特徴交換が、小標的の特徴識別能をどのように向上させるか？
• RQ3 スカイアノテートド領域を用いた選択的オーグメンテーションは、標準的なコピーパステと比較して、誤検出をどの程度低減するか？
• RQ4 提案されたマルチタスクフレームワークは、実世界の密な赤外ベンチマークにおいて、単一タスクの最先端手法を上回る性能を示すか？
• RQ5 ピクセル単位の背景アノテーションを備えた新しいデータセットは、クラスタ化された赤外小標的検出アルゴリズムのより正確で頑健な評価を可能にするか？

主な発見

• BAFE-Netは、DenseSIRSTベンチマークで最高のmAP_{07}とmAP_{12}を達成し、すべての最先端の1段階および2段階手法を上回った。
• 可視化分析の結果、BAFE-Netは標的領域でより強い活性化を示し、背景の活性化マップが著しくクリアであることが判明し、誤検出の抑制が優れていることが示された。
• BAG-CPは、干渉要因が誤分類されにくいスカイ領域に標的を制限して貼り付けるため、標準的なコピーパステに比べて誤検出を低減する。
• ResNet50は、特徴の豊かさと計算コストのバランスを最適化する最適なバックボーンであることが判明した。ResNet101のようなより深いネットワークは、特徴の過剰平滑化により性能低下を引き起こした。
• クロスタスク特徴ハード交換を備えたマルチタスク設計により、特徴識別能が向上し、高い検出感度と低い背景活性化が裏付けられた。
• 提案されたDenseSIRSTデータセットにより、スパースから密な標的検出へのシフトが可能となり、背景領域のピクセル単位のセマンティックアノテーションを備えた、より現実的で信頼性の高いベンチマークが提供された。