[論文レビュー] Local Contrast and Global Contextual Information Make Infrared Small Object Salient Again

Chenyi Wang, Huan Wang+1 more|arXiv (Cornell University)|Jan 28, 2023

Infrared Target Detection Methodologies被引用数 7

ひとこと要約

本稿では、赤外線小物体セグメンテーション（ISOS）のためのU-NetベースのモデルであるUCFNetを提案する。このモデルは、局所的コントラストを強化するための中央差分畳み込み（CDC）と、高分解能特徴を保持したままグローバルなコンテキストを捉えるための高速フーリエ畳み込み（FFC）を組み合わせている。本手法は、公開のISOSベンチマークで最先端の性能を達成し、mIoUと検出再現率を顕著に向上させるとともに、誤検出を低減した。

ABSTRACT

Infrared small object detection (ISOS) aims to segment small objects only covered with several pixels from clutter background in infrared images. It's of great challenge due to: 1) small objects lack of sufficient intensity, shape and texture information; 2) small objects are easily lost in the process where detection models, say deep neural networks, obtain high-level semantic features and image-level receptive fields through successive downsampling. This paper proposes a reliable detection model for ISOS, dubbed UCFNet, which can handle well the two issues. It builds upon central difference convolution (CDC) and fast Fourier convolution (FFC). On one hand, CDC can effectively guide the network to learn the contrast information between small objects and the background, as the contrast information is very essential in human visual system dealing with the ISOS task. On the other hand, FFC can gain image-level receptive fields and extract global information while preventing small objects from being overwhelmed.Experiments on several public datasets demonstrate that our method significantly outperforms the state-of-the-art ISOS models, and can provide useful guidelines for designing better ISOS deep models. Code are available at https://github.com/wcyjerry/BasicISOS.

研究の動機と目的

• 小さな物体が十分な強度、形状、テクスチャの手がかりを持たない赤外線小物体セグメンテーション（ISOS）の課題に対処すること。
• 深層ネットワークにおける過剰なダウンサンプリングによって特徴抽出段階で小さな物体が消失する問題を軽減すること。
• 局所的コントラストとグローバルコンテキスト情報を効果的に統合し、セグメンテーション精度を向上させる深層学習モデルの設計。
• 既存の最先端手法を上回る信頼性があり汎用性の高いバックボーンをISOSに提供すること。

提案手法

• 提案されたUCFNetアーキテクチャは、人間の視覚系の挙動を模倣する中央差分畳み込み（CDC）を組み込んだU-Netの変種であり、小さな物体とその背景のコントラストを強調することで、明るさが低い小物体の検出に不可欠な局所的コントラスト特徴を強化する。
• CDCは、学習可能なパラメータθを用いて中心画素値と周囲の隣接画素値の差分を計算し、明るさが低い小物体の検出に不可欠な局所的コントラスト特徴を強化する。
• 高速フーリエ畳み込み（FFC）は、周波数ドメインで畳み込みを実行することで、ダウンサンプリングを伴わずに高分解能特徴マップからグローバルコンテキストを抽出する。これにより、画像全体の受容 field を実現する。
• FFCブロックは残差ユニットに積み重ねられ、空間的詳細を保持しながら長距離依存性を統合する。これにより、特徴抽象化の過程で小さな物体が消失するのを防ぐ。
• モデルはエンコーダーとデコーダーの両パスにCDCとFFCを統合し、局所的顕著性とグローバルコンテキスト認識の両方を同時に最適化する。
• アブレーションスタディにより、設計選択の妥当性が検証され、CDCの最適なθ=0.7と、最良の性能を得るための5つのFFC残差ブロックが特定された。

実験結果

リサーチクエスチョン

• RQ1 信号対雑音比が低い赤外線画像における小物体検出を向上させるために、どのように局所的コントラスト情報を効果的に抽出できるか？
• RQ2 深くダウンサンプリングされた層に依存せずに、高分解能特徴マップからグローバルコンテキストを捉えることは可能か？
• RQ3 CDCとFFCは、可変畳み込みやゲート付き畳み込みなどの他の先進的畳み込み演算子と比較して、ISOSタスクにおいてどのように性能を発揮するか？
• RQ4 UCFNetの性能を最大化するために、CDCとFFCの最適な構成は何か？
• RQ5 CDCとFFCを組み合わせることで、単独で使用する場合よりも相乗効果が得られるか？

主な発見

• CDCとFFCを併用したUCFNetは、SIRSTデータセットで80.89%の最高mIoUを達成し、アンサンブルなしのUCFベースライン（74.14%）を顕著に上回った。
• CDCの追加のみでmIoUが1.81ポイント向上（75.95%）し、誤検出率（Fa）は4.83×10⁻⁶から3.46×10⁻⁶に低下した。
• FFC単体でも最高のmIoU（79.55%）と100%のPd（検出再現率）を達成し、Faは1.82×10⁻⁶にまで低下した。これは、グローバルコンテキスト学習の有効性を示している。
• CDCとFFCの併用により、100%のPdとFa=2.22×10⁻⁶の最良の全体的性能が達成され、高い検出再現率と低い誤検出率を両立した。
• アブレーションスタディの結果、θ=0.7のCDCが最適な性能を発揮し、5つのFFC残差ブロックが最良の結果をもたらした。設計の堅牢性が確認された。
• 他の手法と比較した結果、CDCはゲート付きおよび可変畳み込みを上回り、FFCは拡張畳み込みやダブルアテンションモジュールを上回る性能をmIoUおよびFaの両指標で示した。