[論文レビュー] IRSAM: Advancing Segment Anything Model for Infrared Small Target Detection

Mingjin Zhang, Yuchun Wang+4 more|arXiv (Cornell University)|Jul 10, 2024

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本稿では、赤外線小標的検出（IRSTD）のためのSegment Anything Model（SAM）の新規適応手法であるIRSAMを提案する。エンコーダーにウェーブレットに基づくPerona-Malik拡散（WPMD）ブロックを導入し、特徴表現を向上させるとともに、マルチグレインラーチャーフュージョンを実現するグレインラーチャーデコーダー（GAD）を採用している。本手法は、NUAA-SIRST、NUDT-SIRST、IRSTD-1Kベンチマークで最先端の性能を達成し、vanilla SAMや先行のSOTA手法を顕著に上回っている。

ABSTRACT

The recent Segment Anything Model (SAM) is a significant advancement in natural image segmentation, exhibiting potent zero-shot performance suitable for various downstream image segmentation tasks. However, directly utilizing the pretrained SAM for Infrared Small Target Detection (IRSTD) task falls short in achieving satisfying performance due to a notable domain gap between natural and infrared images. Unlike a visible light camera, a thermal imager reveals an object's temperature distribution by capturing infrared radiation. Small targets often show a subtle temperature transition at the object's boundaries. To address this issue, we propose the IRSAM model for IRSTD, which improves SAM's encoder-decoder architecture to learn better feature representation of infrared small objects. Specifically, we design a Perona-Malik diffusion (PMD)-based block and incorporate it into multiple levels of SAM's encoder to help it capture essential structural features while suppressing noise. Additionally, we devise a Granularity-Aware Decoder (GAD) to fuse the multi-granularity feature from the encoder to capture structural information that may be lost in long-distance modeling. Extensive experiments on the public datasets, including NUAA-SIRST, NUDT-SIRST, and IRSTD-1K, validate the design choice of IRSAM and its significant superiority over representative state-of-the-art methods. The source code are available at: github.com/IPIC-Lab/IRSAM.

研究の動機と目的

• 自然画像と赤外線画像の間のドメインギャップが、事前学習済みSAMの赤外線小標的検出（IRSTD）における性能を制限するという問題に寄与する。
• 特に信号対雑音比が低く、エッジがぼやけた小標的に対して、特徴表現を向上させること。
• エンコーダーではエッジの保持とノイズ抑制を向上させるとともに、デコーダーではマルチスケールおよびマルチグレインラーチャー特徴の統合を強化すること。
• 軽量で効率的なアーキテクチャを用いた転移学習により、IRSTDベンチマークで優れたゼロショットおよびファインチューニング性能を達成すること。

提案手法

• WPMDモジュールは、Perona-Malik拡散方程式における勾配項をウェーブレットに基づく変換に置き換えることで、赤外線画像におけるエッジの保持とノイズ抑制を向上させる。
• WPMDブロックは、SAMのビジョントランスフォーマーエンコーダーの複数の段階に統合され、異なる抽象レベルでの特徴抽出を精緻化する。
• グレインラーチャーデコーダー（GAD）は、二方向トランスフォーマーを介して浅い層と深い層の両方のエンコーダー特徴を統合し、さまざまなオブジェクトスケールや形状に対応するマスク表現を強化する。
• 計算コストとモデルサイズを削減しつつも高い性能を維持するため、Mobile-SAMに基づいてモデルを構築している。
• エンコーダーは、WPMDブロックを複数のレイヤーに挿入した変更版のViT-Tinyバックボーンを用い、構造的特徴学習を向上させる。
• デコーダーは、マルチグレインラーチャー特徴を統合する二方向アテンションメカニズムを採用し、小規模かつ構造的に複雑な標的のセグメンテーション精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自然画像と赤外線画像の間のドメインギャップを考慮しても、事前学習済みSegment Anything Model（SAM）が赤外線小標的検出に効果的に適応可能かどうか。
• RQ2 微弱な温度変化と低信号対雑音比を示す赤外線画像において、エッジの保持とノイズ抑制をどのように向上できるか。
• RQ3 エンコーダーから得られるマルチグレインラーチャー特徴を最適に統合する方法は何か。特に、小規模で構造的に複雑な標的のマスク表現を向上させるために。
• RQ4 ウェーブレットに基づく拡散モジュールとマルチグレインラーチャーデコーダーを統合することで、vanilla SAMや既存のSOTA手法と比較して性能がどのように向上するか。

主な発見

• IRSAMはNUAA-SIRSTデータセットで80.78のIoUスコアを達成し、Mobile-SAMベースライン（75.84）および他のSOTA手法を顕著に上回った。
• アブレーションスタディの結果、WPMDモジュールを削除するとIoUが2.05ポイント低下し、誤報率（Fa）は3.95から11.18に上昇した。これは、エッジ保持においてWPMDモジュールが果たす重要な役割を示している。
• 浅い層と深い層の両方の特徴を統合するGADモジュールが、最も高い性能（IoU: 80.78、nIoU: 78.39）を発揮し、浅い特徴や深い特徴のみを用いた構成を上回った。
• エンコーダーに4つのWPMDブロックを設けることで最良の性能が得られ、他のブロック数と比較して、標的活性化が強く、ノイズが低減された特徴マップが得られた。
• 可視化比較により、IRSAMはラプラシアンやソーベルベースのエッジ検出法よりも、細かな構造的ディテールを保持し、背景クラッターをより効果的に抑制していることが確認された。
• IRSTD-1KおよびNUDT-SIRSTデータセットでも、客観的指標（IoU、nIoU）および主観的評価において、両方で最先端の結果を達成しており、多様な赤外線画像撮影条件下でも堅牢であることが確認された。