[論文レビュー] TBC-Net: A real-time detector for infrared small target detection using semantic constraint

Mingxin Zhao, Cheng Li+4 more|arXiv (Cornell University)|Dec 27, 2019

Infrared Target Detection Methodologies参考文献 53被引用数 51

ひとこと要約

TBC-Netは軽量なターゲット抽出モジュールと意味制約モジュールを組み合わせ、単一フレームでの赤外小目標検出を向上させる。結合損失とデータ合成を用いて、組込みハードウェア上でのリアルタイム性能を実現する。

ABSTRACT

Infrared small target detection is a key technique in infrared search and tracking (IRST) systems. Although deep learning has been widely used in the vision tasks of visible light images recently, it is rarely used in infrared small target detection due to the difficulty in learning small target features. In this paper, we propose a novel lightweight convolutional neural network TBC-Net for infrared small target detection. The TBCNet consists of a target extraction module (TEM) and a semantic constraint module (SCM), which are used to extract small targets from infrared images and to classify the extracted target images during the training, respectively. Meanwhile, we propose a joint loss function and a training method. The SCM imposes a semantic constraint on TEM by combining the high-level classification task and solve the problem of the difficulty to learn features caused by class imbalance problem. During the training, the targets are extracted from the input image and then be classified by SCM. During the inference, only the TEM is used to detect the small targets. We also propose a data synthesis method to generate training data. The experimental results show that compared with the traditional methods, TBC-Net can better reduce the false alarm caused by complicated background, the proposed network structure and joint loss have a significant improvement on small target feature learning. Besides, TBC-Net can achieve real-time detection on the NVIDIA Jetson AGX Xavier development board, which is suitable for applications such as field research with drones equipped with infrared sensors.

研究の動機と目的

• ターゲットが非常に小さい（2–10ピクセル）の雑然とした背景で、頑健な赤外小目標検出を動機づける。
• 極端なクラス不均衡の下で小さなターゲット特徴を学習する軽量なネットワークを開発する。
• ターゲット特徴学習を導くために高レベルの分類タスクを通じて意味制約を導入する。
• 組込みハードウェア（NVIDIA Jetson Xavier）でのリアルタイム推論を可能にする。
• 学習と頑健性を向上させるデータ合成と結合損失を提案する。

提案手法

• Target Extraction Module (TEM)とSemantic Constraint Module (SCM)の2モジュール構成を提案する。
• TEMは単一チャンネルの赤外ターゲット向けに設計された、ダウンサンプリング／アップサンプリングと残差結合を備えたエンコーダ-デコーダである。
• SCMはターゲット数でTEM出力を分類するように訓練された多層CNNであり、TEM訓練中に意味的制約を提供する。
• L_TBC = L_T + L_B + lambda L_Cという結合損失を用いて、SCMの指導の下でTEMを訓練する。
• データ合成は小さなターゲットサンプルを背景画像と融合させ、ターゲット数を示すラベルを持つ訓練タプル (f_D, f_T, y_T) を作成する。
• 推論時にはTEMのみを使用し、組込みハードウェア上でリアルタイム検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 SCMを介して意味制約を導入することで、深刻なクラス不均衡下で小さなターゲット特徴の学習を改善できるか？
• RQ2 従来の単一フレームの赤外検出法と比べて、TEM+SCM訓練スキームはターゲット抽出を改善し、偽警報を減らせるか？
• RQ3 NVIDIA Jetson Xavier のようなエッジデバイスでTBC-Netがリアルタイムの赤外小目標検出を達成できるか？
• RQ4 実世界のIRシーケンスに対する学習で、合成データがどれだけ有効であるか？

主な発見

• TBC-Netは従来の方法と比較して、雑然とした赤外背景での偽警報を低減する。
• 結合されたTEM/SCM損失は、クラス不均衡にもかかわらず小さなターゲット特徴の学習を改善する。
• モデルはNVIDIA Jetson AGX Xavier（256×256入力）でリアルタイム性能を達成する。
• 1–3個の合成ターゲットを各画像に融合したデータ合成は、SCMの高精度訓練を可能にします。
• SCMは合成ターゲットによるTEM訓練を導く分類精度約97.5%に達する。