[論文レビュー] CourtNet for Infrared Small-Target Detection

Jingchao Peng, Haitao Zhao+3 more|arXiv (Cornell University)|Sep 28, 2022

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

CourtNet は、法廷手続を模倣した新しい赤外線小標的検出手法であり、高い再現率を実現する検察ネットワーク、高い正確率を実現する被告ネットワーク、およびそれらの出力を適応的に統合する陪審員ネットワークを備える。細粒度の注目メカニズムを備えた密接接続トランスフォーマーを用いて小標的を保持し、精度-再現率のトレードオフを最適化するための適応的バランス損失を導入することで、MFIRST では 0.62、SIRST では 0.73 の最先端の F1 スコアを達成した。

ABSTRACT

Infrared small-target detection (ISTD) is an important computer vision task. ISTD aims at separating small targets from complex background clutter. The infrared radiation decays over distances, making the targets highly dim and prone to confusion with the background clutter, which makes the detector challenging to balance the precision and recall rate. To deal with this difficulty, this paper proposes a neural-network-based ISTD method called CourtNet, which has three sub-networks: the prosecution network is designed for improving the recall rate; the defendant network is devoted to increasing the precision rate; the jury network weights their results to adaptively balance the precision and recall rate. Furthermore, the prosecution network utilizes a densely connected transformer structure, which can prevent small targets from disappearing in the network forward propagation. In addition, a fine-grained attention module is adopted to accurately locate the small targets. Experimental results show that CourtNet achieves the best F1-score on the two ISTD datasets, MFIRST (0.62) and SIRST (0.73).

研究の動機と目的

• 赤外線小標的検出（ISTD）において、小標的が容易に消失したり背景ノイズと混同されたりする問題に対処すること。
• 標準的なビジョントランスフォーマーが粗粒度の注目と深層ネットワークにおける特徴劣化により、サブパッチ小標的の局所化に限界を示す問題を克服すること。
• 手動のしきい値チューニングなしに、精度と再現率のバランスを適応的にとらせる検出フレームワークを設計すること。
• 深層ネットワークの順方向伝搬中に小標的特徴を保持するために、密な残差接続と細粒度注目を用いること。

提案手法

• CourtNet は三本のブランチアーキテクチャを採用する：検察ネットワークはすべての疑わしき標的を検出することで再現率を最大化し、被告ネットワークは誤検出をフィルタリングすることで正確率を向上させ、陪審員ネットワークはそれらの出力を重み付き統合する。
• 検察ネットワークは密接接続トランスフォーマーを用い、低レベルおよび高レベルの特徴を維持することで、順方向伝搬中に小標的が消えるのを防ぐ。
• 各パッチ内に細粒度注目モジュールを適用し、パッチ内での小標的の正確な局所化を可能にし、標準ビジョントランスフォーマーの粗粒度注目を補完する。
• 適応的バランス損失を導入し、その相対的な大きさに応じて精度損失と再現率損失の成分を動的にスケーリングすることで、学習のフラクチュエーションを低減し、収束を加速する。
• モデルは、主に F1 スコアを評価指標として用いる、MFIRST および SIRST の2つのベンチマークデータセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 検察・被告・陪審員という専門的役割を有する法廷を模倣したニューラルアーキテクチャは、ISTD における検出再現率と正確率のバランスを改善できるか？
• RQ2 細粒度注目を備えた密接接続トランスフォーマーは、赤外線画像内でのサブパッチ小標的を効果的に保持・局所化できるか？
• RQ3 適応的バランス損失は、標準損失関数と比較して、より安定的かつ高速に収束を達成できるか？
• RQ4 提案手法は、F1 スコアという指標において、既存の最先端手法を標準 ISTD ベンチマークで上回ることができるか？

主な発見

• CourtNet は MFIRST データセットで最高の F1 スコア 0.62 を達成し、既存手法を上回った。
• SIRST データセットでは F1 スコア 0.73 を達成し、新たな最先端性能を樹立した。
• 細粒度注目モジュールは周期 9 のサイクル的特徴パターンを示し、パッチ内での標的の局所化が一貫的であることを確認した。
• 適応的バランス損失により、学習のフラクチュエーションが低減し、収束が加速したことが、より安定した学習曲線から示された。
• 検察ネットワークは、構築されたテストセットにおいて 100% の検出率ですべての標的を検出し、F1 スコア 80% を達成した。