[論文レビュー] HCF-Net: Hierarchical Context Fusion Network for Infrared Small Object Detection

Shibiao Xu, ShuChen Zheng+7 more|arXiv (Cornell University)|Mar 16, 2024

Infrared Target Detection Methodologies被引用数 8

ひとこと要約

HCF-Netは、PPA、DASI、MDCRの三つのモジュールを導入し、マルチスケール特徴融合と選択的統合により赤外線小物体検出を強化し、SIRST単一フレームデータでIoUの最新性能を達成します。

ABSTRACT

Infrared small object detection is an important computer vision task involving the recognition and localization of tiny objects in infrared images, which usually contain only a few pixels. However, it encounters difficulties due to the diminutive size of the objects and the generally complex backgrounds in infrared images. In this paper, we propose a deep learning method, HCF-Net, that significantly improves infrared small object detection performance through multiple practical modules. Specifically, it includes the parallelized patch-aware attention (PPA) module, dimension-aware selective integration (DASI) module, and multi-dilated channel refiner (MDCR) module. The PPA module uses a multi-branch feature extraction strategy to capture feature information at different scales and levels. The DASI module enables adaptive channel selection and fusion. The MDCR module captures spatial features of different receptive field ranges through multiple depth-separable convolutional layers. Extensive experimental results on the SIRST infrared single-frame image dataset show that the proposed HCF-Net performs well, surpassing other traditional and deep learning models. Code is available at https://github.com/zhengshuchen/HCFNet.

研究の動機と目的

• 赤外線小物体検出で対象が非常に小さく背景が混み合うという課題に対処する。
• ダウンサンプリングを通じて小さな物体情報を保持するセグメンテーション向きの検出器を開発する。
• 三つのモジュール（PPA、DASI、MDCR）を提案し、マルチスケール特徴融合と文脈モデリングを改善する。
• HCF-NetがSIRSTデータセットで従来手法および深層学習ベースの手法を上回ることを示す。

提案手法

• パッチ認識アテンション（PPA）を用いた多ブランチ特徴抽出（局所、グローバル、逐次畳み込みブランチ）とアテンションベースの融合。
• 次元認識選択的統合（DASI）により、チャネル分割と学習された選択を通じて高次元・低次元特徴を適応的に融合。
• 多重拡張チャネルリファイナー（MDCR）は、4つの深さ方向に分離可能な拡張畳み込みを異なるレートで用い、マルチスケールの空間特徴を捉える。
• エンコーダ-デコーダ型のU-Net様構造を、DASIとMDCRの仲介を介してエンコーダとデコーダを橋渡しするスキップ接続で強化。
• スケール間でバイナリクロスエントロピーとIoU損失を組み合わせた深層監督を用いる。

実験結果

リサーチクエスチョン

• RQ1 パッチ認識を持つ多ブランチ特徴とアテンションは、ダウンサンプリング時の赤外線小物体の保持を改善するか。
• RQ2 適応的で次元認識的な特徴融合（DASI）は、小さなターゲットのためのスキップ接続の有効性を向上させるか。
• RQ3 多重拡張チャネルリファイナ（MDCR）は多様な受容野を捉え、混雑から小さな物体を区別できるか。
• RQ4 HCF-NetはSIRSTデータセットで従来手法と比較してどのように性能を発揟するか。
• RQ5 赤外線小物体検出に対してセマンティックセグメンテーションの枠組みは有利か。

主な発見

手法	IoU (%)	nIoU (%)
Top-Hat [1]	5.86	25.42
LCM [2]	6.84	8.96
PSTNN [4]	39.44	47.72
IPI [3]	40.48	50.95
RIPT [5]	25.49	33.01
NIPPS [6]	33.16	40.91
MDvsFA [18]	56.17	59.84
SwinT [27]	70.53	69.89
ACM [21]	72.45	72.15
UIUNet [22]	78.25	75.15
HCF-Net (Ours)	80.09	78.31

• アブレーション実験で各モジュール（PPA、DASI、MDCR）が、ベースラインU-Netに対してIoUとnIoUの向上に寄与することを示した。
• HCF-NetはSIRSTでIoU 80.09%とnIoU 78.31%を達成し、列挙された手法を上回った。
• 従来手法および深層学習ベースのベースラインと比較して、HCF-Netは小さな物体の局在化と境界の詳細で優れた性能を提供する。
• 小物体のダウンサンプリング損失を緩和するために、スケール間の深層監督損失を使用している。
• コードは公開されており、赤外線小物体検出タスクの再現を可能にする。