[論文レビュー] Asymmetric Contextual Modulation for Infrared Small Target Detection

Yimian Dai, Yiquan Wu+2 more|arXiv (Cornell University)|Sep 30, 2020

Infrared Target Detection Methodologies参考文献 39被引用数 28

ひとこと要約

本稿では、上位からのグローバルコンテキストと下位からのローカルディティールを二重のアテンションパスウェイで統合することで、赤外線小標的検出のための非対称的コンテキストモジュレーション（ACM）モジュールを提案する。この手法は、新たに導入されたSIRSTデータセットにおいて最先端の性能を達成し、IoUが0.743、nIoUが0.731を記録。パrameter数と層数が少ないにもかかわらず、既存手法を上回る性能を発揮した。

ABSTRACT

Single-frame infrared small target detection remains a challenge not only due to the scarcity of intrinsic target characteristics but also because of lacking a public dataset. In this paper, we first contribute an open dataset with high-quality annotations to advance the research in this field. We also propose an asymmetric contextual modulation module specially designed for detecting infrared small targets. To better highlight small targets, besides a top-down global contextual feedback, we supplement a bottom-up modulation pathway based on point-wise channel attention for exchanging high-level semantics and subtle low-level details. We report ablation studies and comparisons to state-of-the-art methods, where we find that our approach performs significantly better. Our dataset and code are available online.

研究の動機と目的

• 低信号対クラッター比の複雑な背景における微弱で小さな赤外線標的の検出という課題に対処すること。
• 手作業で特徴を設計するモデル駆動型手法の限界を克服し、変動するシーン条件下でも性能を発揮すること。
• 単一フレームの赤外線小標的検出分野におけるデータ駆動型研究を支援するため、公開で高品質なデータセット（SIRST）を提供すること。
• 高レベルの意味的特徴と細粒度の低レベルディテールの両立を図る深層学習アーキテクチャを設計すること。
• 小標的に対して、畳み込みニューラルネットワーク（CNN）における意味的抽象化と空間解像度の損失という、本質的な矛盾を解消すること。

提案手法

• 上位からのグローバルコンテキストストリーム（グローバルチャネルアテンションを用いる）と下位からのローカルディテールストリーム（ポイントワイドチャネルアテンションを用いる）の二重の並列パスウェイを持つ非対称的コンテキストモジュレーション（ACM）モジュールを提案。
• ACMモジュールをFPNおよびU-Netバックボーンに統合し、特徴マップ間で双方向の特徴モodulationを可能にする。
• 上位からのパスでグローバルチャネルアテンションを用いて、ハイレベル特徴に包括的なシーン意味を注入する。
• 下位からのパスでポイントワイドチャネルアテンションを用いて、小さな標的の細粒度のローカル特徴を保持・強化する。
• 小標的検出の性能をより適切に評価できるよう、新しい損失関数と評価指標（nIoU）を設計。
• 従来の非公開データセットに比べ4倍のスケールで、5種類のアノテーション形式を備えたSIRSTデータセットを再リリースし、学習とベンチマーク支援を実現。

実験結果

リサーチクエスチョン

• RQ1 二重パスウェイのアテンション機構は、高レベルの意味的特徴と低レベルのディテールを統合することで、小標的検出性能を向上させることができるか？
• RQ2 下位からのアテンションパスウェイは、深層ネットワーク内での背景に埋もれてしまうリスクを軽減するか？
• RQ3 対称的または単方向のアテンションと比較して、非対称なモジュレーションは検出精度と耐性において優れているか？
• RQ4 新たに整備された公開データセット（SIRST）は、データ駆動型赤外線小標的検出研究を顕著に前進させることができるか？
• RQ5 提案手法は、微弱でコントラストが低い小標的を検出する分野において、従来のモデル駆動型およびデータ駆動型手法よりも優れているか？

主な発見

• ACM-FPNおよびACM-U-Netモデルは、比較対象の19手法の中で最高のIoU（0.743）とnIoU（0.731）を達成し、最先端の性能を示した。
• 提案手法は、層数が少ないにもかかわらず、すべてのベースラインモデルを上回る性能を発揮しており、パrameter効率の向上が裏付けられた。
• 下位からのアテンションパスウェイは、ネットワークの深さが増すほど顕著に性能向上をもたらし、特徴の抑制を防ぐ必要性を実証した。
• nIoU指標は、微小でコントラストが低い標的の性能をより適切に捉えることができ、IoUよりも小標的検出評価にふさわしいことが示された。
• ROC解析により、ACMベースのモデルが、閾値の変化にかかわらず優れた全体的な検出能力を維持していることが確認され、一部の手法ではIoUが優れていたにもかかわらず、依然として優位であった。
• SIRSTデータセットは、データ駆動型モデルの学習と評価をより効果的に行うことを可能にし、提案手法がこのベンチマークで最高の結果を達成した。