[論文レビュー] MTU-Net: Multi-level TransUNet for Space-based Infrared Tiny Ship Detection

Tianhao Wu, Boyang Li+7 more|arXiv (Cornell University)|Sep 28, 2022

Infrared Target Detection Methodologies被引用数 15

ひとこと要約

本論文は、空間基盤赤外線画像における微小で明るさが弱く、変動しやすい標的の検出を改善するために、新しいCRRPデータ拡張法とFocalIoU損失を活用した、マルチレベルのビジョントランスフォーマー・CNNハイブリッドネットワークであるMTU-Netを提案する。新たに導入されたNUDT-SIRST-Seaデータセットにおいて、MTU-Netは64.14%のIoU、85.44%の検出確率、1画像あたり11.72件の誤検出という最先端の性能を達成した。

ABSTRACT

Space-based infrared tiny ship detection aims at separating tiny ships from the images captured by earth orbiting satellites. Due to the extremely large image coverage area (e.g., thousands square kilometers), candidate targets in these images are much smaller, dimer, more changeable than those targets observed by aerial-based and land-based imaging devices. Existing short imaging distance-based infrared datasets and target detection methods cannot be well adopted to the space-based surveillance task. To address these problems, we develop a space-based infrared tiny ship detection dataset (namely, NUDT-SIRST-Sea) with 48 space-based infrared images and 17598 pixel-level tiny ship annotations. Each image covers about 10000 square kilometers of area with 10000X10000 pixels. Considering the extreme characteristics (e.g., small, dim, changeable) of those tiny ships in such challenging scenes, we propose a multi-level TransUNet (MTU-Net) in this paper. Specifically, we design a Vision Transformer (ViT) Convolutional Neural Network (CNN) hybrid encoder to extract multi-level features. Local feature maps are first extracted by several convolution layers and then fed into the multi-level feature extraction module (MVTM) to capture long-distance dependency. We further propose a copy-rotate-resize-paste (CRRP) data augmentation approach to accelerate the training phase, which effectively alleviates the issue of sample imbalance between targets and background. Besides, we design a FocalIoU loss to achieve both target localization and shape description. Experimental results on the NUDT-SIRST-Sea dataset show that our MTU-Net outperforms traditional and existing deep learning based SIRST methods in terms of probability of detection, false alarm rate and intersection over union.

研究の動機と目的

• 長距離の撮影距離と広大なシーンカバレッジによる、空間基盤赤外線画像における極めて微小で明るさが弱く、変動しやすい船隻の検出の課題に対処すること。
• 既存の短距離SIRSTデータセットおよび手法の限界を克服し、空間基盤シナリオに一般化できない問題を解決すること。
• 空間基盤赤外線微小船隻検出のための大規模で高解像度のピクセルレベルアノテーション付きデータセットの開発。
• 長距離の文脈的依存関係を効果的に捉え、微小標的の局所化とセグメンテーションを向上させる深層学習フレームワークの設計。
• 新しいデータ拡張法および損失関数を用いて、複雑な背景において誤検出を低減し、検出精度を向上させること。

提案手法

• 局所的および長距離の依存関係を両方捉えるために、畳み込み特徴マップとビジョントランスフォーマーブロックを組み合わせたマルチレベル特徴抽出モジュール（MVTM）を提案する。
• 文脈的および長距離の情報を保持し、クラスの不均衡を軽減するために、コピーローテートリサイズペースト（CRRP）というデータ拡張戦略を導入する。
• 高解像度の空間基盤赤外線画像から階層的なマルチレベル特徴を抽出するために、ビジョントランスフォーマーとCNNのハイブリッドエンコーダーを採用する。
• ハードサンプルのマイニングとIoU最適化の両立を図り、微小標的の局所化と形状記述を向上させるFocalIoU損失関数を設計する。
• 提案された損失関数と拡張法を用いて、NUDT-SIRST-Seaデータセット上でMTU-Netモデルをエンドツーエンドで学習し、検出のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、広大なシーンカバレッジを持つ空間基盤赤外線画像において、極めて微小で明るさが弱い船隻をどのように効果的に検出できるか？
• RQ2 空間基盤赤外線画像において、クラスの不均衡を効果的に緩和し、文脈的情報を保持するデータ拡張戦略は何か？
• RQ3 ビジョントランスフォーマーとCNNのハイブリッドアーキテクチャは、微小標的検出において長距離依存関係を捉える点で、標準的なCNNを上回ることができるか？
• RQ4 提案されたFocalIoU損失は、Focal損失やSoftIoU損失と比較して、局所化精度と形状記述の両面でどのように向上をもたらすか？
• RQ5 提案されたMTU-Netアーキテクチャは、新規の大規模で高解像度の空間基盤赤外線船隻検出ベンチマーク上で、どの程度検出性能を向上させるか？

主な発見

• MTU-Netは64.14%の交差和集合（IoU）を達成し、Focal損失（53.16%）およびSoftIoU損失（62.00%）のベースラインを著しく上回った。
• 検出確率（Pd）は85.44%に達し、Focal損失ベースラインより0.74%向上し、微小標的に対する感受性が向上した。
• 誤検出率は1画像あたり11.72件にまで低下し、FocalIoU損失が背景応答および誤検出を効果的に抑制していることが示された。
• CRRPデータ拡張法は、長距離の文脈的特徴を保持することで誤検出を低減し、複雑な背景における一般化性能を向上させた。
• NUDT-SIRST-Seaデータセットには10000×10000ピクセルの48枚の画像が含まれ、ピクセルレベルのアノテーションが17,598個あり、既存のSIRSTデータセットの中で最小の平均標的サイズ（1.7×1.7ピクセル）および最低の信号対雑音比（SNR）を有する。
• 提案されたMTU-Netモデルは、CRRPデータ拡張を適用したベースラインと比較して、IoUで11.96×10⁻⁶の向上と、誤検出率で5.05%の低減を達成した。