[論文レビュー] Infrared Small-Dim Target Detection with Transformer under Complex Backgrounds

Fangcen Liu, Chenqiang Gao+4 more|arXiv (Cornell University)|Sep 29, 2021

Infrared Target Detection Methodologies参考文献 57被引用数 27

ひとこと要約

tldr: 本論文は、自己注意を活用した大域的特徴相互作用、識別可能なターゲット特徴の強化モジュール、ターゲット情報を保持するU-Netのようなデコーダを組み合わせた、赤外線の小型・微弱ターゲット検出のためのトランスフォーマーベースのフレームワークを提案し、MFIRSTおよび SIRST データセットで最先端の結果を達成します。

ABSTRACT

The infrared small-dim target detection is one of the key techniques in the infrared search and tracking system. Since the local regions similar to infrared small-dim targets spread over the whole background, exploring the interaction information amongst image features in large-range dependencies to mine the difference between the target and background is crucial for robust detection. However, existing deep learning-based methods are limited by the locality of convolutional neural networks, which impairs the ability to capture large-range dependencies. Additionally, the small-dim appearance of the infrared target makes the detection model highly possible to miss detection. To this end, we propose a robust and general infrared small-dim target detection method with the transformer. We adopt the self-attention mechanism of the transformer to learn the interaction information of image features in a larger range. Moreover, we design a feature enhancement module to learn discriminative features of small-dim targets to avoid miss detection. After that, to avoid the loss of the target information, we adopt a decoder with the U-Net-like skip connection operation to contain more information of small-dim targets. Finally, we get the detection result by a segmentation head. Extensive experiments on two public datasets show the obvious superiority of the proposed method over state-of-the-art methods and the proposed method has stronger cross-scene generalization and anti-noise performance.

研究の動機と目的

• 複雑な背景下でターゲットが微小であり、混雑と混同しやすい状況での堅牢な赤外線小型ターゲット検出を動機付ける。
• CNNの局所性の制限を、自己注意を用いて画像トークン間の長距離依存性をモデル化することで克服する。
• 専用の特徴強化モジュールを通じて、小さなターゲットの識別特徴を強化する。
• U-Netに類似したデコーダを用いてターゲット情報を保持し、セグメンテーションベースの検出を改善する。
• 最先端手法と比較した際の優れた性能とシーン横断的一般化を示す。

提案手法

• ResNet-50ベースの特徴埋め込みモジュールで画像を埋め込み、位置エンコーディングを用いてコンパクトな特徴トークンを取得する。
• 複合エンコーダを用い、各層にマルチヘッド自己注意（MSA）と特徴強化モジュール（FEM）を含むkつのエンコーダ層で大域的な相互作用を学習し、小ターゲット特徴を強化する。
• U-Netのようなスキップ接続デコーダを採用して特徴をアップサンプル・融合し、セグメンテーション用の信頼度マップを生成する。
• シグモイドベースの信頼度マップと適応閾値付けを最終検出に適用する。損失はIoU目的を組み合わせてクラス不均衡に対処し、小ターゲット領域へフォーカスする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーベースのアーキテクチャは、CNNよりも大域的な相互作用を捉え、極小の赤外ターゲットを複雑な背景からより効果的に区別できるか。
• RQ2 専用の特徴強化モジュールは、トランスフォーマーフレームワーク内で小型・微妙なターゲットの識別力を改善するか。
• RQ3 U-Net風デコーダはアップサンプリング時に小型ターゲット情報の保持に役立つか。
• RQ4 提案手法は、既存手法と比較してクロスシーンの状況および加法的ガウシアンノイズ下でどのように性能を発揮するか。

主な発見

• 提案手法は、MFIRSTおよびSIRSTデータセット上で、Pd、AUC、F1スコアの各指標において、ターゲットタイプ間で最先端のモデル駆動および深層学習手法を上回る。
• MFIRSTでは、Pd 90.08%、AUC 89.34%、F1t 92.59%、F1p 64.59%を達成し、SIRSTではPd 100.00%、AUC 99.14%、F1t 98.62%、F1p 83.16%を達成（時間: 100枚あたり6.41秒）。
• アブレーション研究では、プーリング層を除去すると性能が低下する一方、特徴強化モジュールと深いエンコーダを追加すると、MFIRSTでPdが約3.03%、AUCが約4.57%向上する。
• 本アプローチは、ACMおよびMDvsFAよりもクロスシーン一般化性能が強力である。例として、MFIRSTで訓練されたモデルをSIRSTで評価した場合、MDvsFAに対してPdが約0.93%、AUCが約2.07%上回り、SIRSTで訓練されたモデルをMFIRSTで評価した場合、ACMより約20.52%のPdおよび約23.53%のAUCを上回る。
• ガウシアンノイズ下では、提案手法は他の手法よりも頑健性が高く、ノイズ分散が増加しても性能低下が緩やかである。
• 定性的結果は、非常に困難な背景（高ノイズ、混雑したシーン、暗いターゲットを含む）において、誤警報が少なくターゲット保持が改善されることを示している。