[論文レビュー] Dense Nested Attention Network for Infrared Small Target Detection

Boyang Li, Chao Xiao+6 more|arXiv (Cornell University)|Jun 1, 2021

Infrared Target Detection MethodologiesEngineering被引用数 22

ひとこと要約

本論文は赤外線小目標検出のための密度的ネスト型アテンションネットワーク（DNA-Net）を提案する。この手法は三方向の密度的ネスト型インタラクティブモジュール（DNIM）と段階的なチャネル・スパティアルアテンションを活用し、段階的で多次元の特徴統合と強化を実現し、深層部の小目標を保持する。本手法は、公開データセットおよび新たに導入された大規模データセット（NUDT-SIRST）の両方で最先端の性能を達成し、検出確率、誤検出率、IoUの面で先行手法を上回っている。

ABSTRACT

Single-frame infrared small target (SIRST) detection aims at separating small targets from clutter backgrounds. With the advances of deep learning, CNN-based methods have yielded promising results in generic object detection due to their powerful modeling capability. However, existing CNN-based methods cannot be directly applied for infrared small targets since pooling layers in their networks could lead to the loss of targets in deep layers. To handle this problem, we propose a dense nested attention network (DNANet) in this paper. Specifically, we design a dense nested interactive module (DNIM) to achieve progressive interaction among high-level and low-level features. With the repeated interaction in DNIM, infrared small targets in deep layers can be maintained. Based on DNIM, we further propose a cascaded channel and spatial attention module (CSAM) to adaptively enhance multi-level features. With our DNANet, contextual information of small targets can be well incorporated and fully exploited by repeated fusion and enhancement. Moreover, we develop an infrared small target dataset (namely, NUDT-SIRST) and propose a set of evaluation metrics to conduct comprehensive performance evaluation. Experiments on both public and our self-developed datasets demonstrate the effectiveness of our method. Compared to other state-of-the-art methods, our method achieves better performance in terms of probability of detection (Pd), false-alarm rate (Fa), and intersection of union (IoU).

研究の動機と目的

• 畳み込みニューラルネットワークのプーリング操作によって生じる赤外線小目標の消失問題に対処すること。
• 高レベルおよび低レベル特徴の繰り返し統合を可能にすることで、小目標の特徴表現を段階的に向上させること。
• 現実的な条件下での堅牢な評価を可能にするために、大規模かつ多様性のある赤外線小目標データセット（NUDT-SIRST）を構築すること。
• 赤外線小目標検出に特化した包括的な評価指標セットを導入すること。
• 合成画像を用いたデータ拡張により、高価な実世界データへの依存を軽減するとともに、モデルの汎化性能を向上させることを示すこと。

提案手法

• すべてのエンコーダーおよびデコーダー層を三方向で完全に接続されたネスト構造に接続する密度的ネスト型インタラクティブモジュール（DNIM）を提案し、繰り返しの多次元特徴相互作用を可能にする。
• チャネル次元および空間次元の両方における相関関係をモデル化することで、スケールに応じて特徴を適応的に強化する段階的チャネル・スパティアルアテンションモジュール（CSAM）を導入する。
• 複数のレイヤーからの特徴を統合するための特徴ピラミッド統合モジュール（FPFM）を採用し、低レベルの詳細情報と高レベルの意味的特徴を組み合わせて、堅牢な検出を実現する。
• モデルの汎化性能を向上させるとともにデータ収集コストを削減するため、実画像と合成赤外画像の混合データセットを用いた新しいトレーニング戦略を設計する。
• 複数のデコーダー層で検出ヘッドを監視することで、トレーニング中に小目標特徴を保持する多スケール監視戦略を採用する。
• セグメンテーション性能を最適化するために、バイナリクロスエントロピー損失とDice損失を組み合わせたハイブリッド損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 密度的ネスト型アーキテクチャは、ダウンサンプリングによる影響を受ける深層畳み込み層において、小目標特徴を効果的に保持できるか？
• RQ2 段階的チャネルおよび空間アテンションは、赤外線小目標の特徴表現をどの程度向上させるか？
• RQ3 本手法であるDNA-Netは、公開データセットおよび新たに収集されたデータセットの両方で最先端手法を上回る効果を示すか？
• RQ4 合成赤外線小目標画像を用いたデータ拡張は、実データへの依存を軽減するとともに、モデルの汎化性能を向上させるのに効果的か？
• RQ5 提案された評価指標セットは、複雑な現実世界シナリオにおける赤外線小目標検出システムの性能をより適切に反映しているか？

主な発見

• 実画像と合成画像の混合データセットで学習した場合、NUAA-SIRSTテストセットにおいてDNA-Netは77.47%のIoU、98.48%の検出確率、4.223×10⁻⁶の誤検出率を達成した。
• アブレーションスタディの結果、特徴ピラミッド統合モジュール（FPFM）を削除するとIoUが0.83%低下し、誤検出率が1.81×10⁻⁶上昇するため、性能向上におけるその重要性が示された。
• 最も深い層（L5）の特徴を削除すると、IoUが0.23%低下し、誤検出率が3.01×10⁻⁶上昇するため、深層特徴が小目標検出において重要な役割を果たしていることが示された。
• 実画像が16.2%のみの混合データセットで学習しても、完全な実データ学習と同等の性能が得られ、データ収集コストを削減しながら高い精度を維持できることが示された。
• 実画像に対するネットワーク出力は、手動でラベル付けされた正解マスクを上回る形状セグメンテーションの正確性を示しており、良好にラベル付けされた合成データからの優れた特徴学習が可能であることを示している。
• NUDT-SIRSTデータセットは、多様なターゲットサイズ、形状、クラッター背景を含んでおり、従来のベンチマークよりも包括的な評価を可能にしている。