[論文レビュー] RPCANet: Deep Unfolding RPCA Based Infrared Small Target Detection

Fengyi Wu, Tianfang Zhang+3 more|arXiv (Cornell University)|Nov 2, 2023

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本稿では、緩和されたロバスト主成分分析（RPCA）最適化をニューラルネットワークにアンロールすることで、解釈性のある赤外線小目標検出（ISTD）のための深層学習フレームワーク、RPCANetを提案する。ターゲット抽出とバックグラウンド推定をニューラル層による学習可能なプロキシタル演算子としてモデル化することで、従来手法と比較して、解釈性の向上、誤検出の低減、パラメータ数の削減を達成した最先端の性能を実現した。

ABSTRACT

Deep learning (DL) networks have achieved remarkable performance in infrared small target detection (ISTD). However, these structures exhibit a deficiency in interpretability and are widely regarded as black boxes, as they disregard domain knowledge in ISTD. To alleviate this issue, this work proposes an interpretable deep network for detecting infrared dim targets, dubbed RPCANet. Specifically, our approach formulates the ISTD task as sparse target extraction, low-rank background estimation, and image reconstruction in a relaxed Robust Principle Component Analysis (RPCA) model. By unfolding the iterative optimization updating steps into a deep-learning framework, time-consuming and complex matrix calculations are replaced by theory-guided neural networks. RPCANet detects targets with clear interpretability and preserves the intrinsic image feature, instead of directly transforming the detection task into a matrix decomposition problem. Extensive experiments substantiate the effectiveness of our deep unfolding framework and demonstrate its trustworthy results, surpassing baseline methods in both qualitative and quantitative evaluations.

研究の動機と目的

• 深層学習のブラックボックス性を、分野特有の最適化事前知識を統合することで、赤外線小目標検出（ISTD）において是正すること。
• 単にデータ駆動のモデルでは、しばしば過学習やダウンサンプリングによる小目標の消失が生じるため、その限界を克服すること。
• RPCAからの物理的・数学的制約をニューラルアーキテクチャに組み込むことで、ISTDにおける解釈性と信頼性を向上させること。
• 高い検出精度と低い誤検出率を達成しつつ、内在する画像特徴を保持するネットワークの開発。

提案手法

• RPCANetは、ISTDを緩和されたRPCA問題として定式化し、画像をスパースなターゲットと低ランクなバックグラウンドに分解する。
• RPCAモデルの反復的最適化手順を深層アーキテクチャにアンロールし、複雑な行列演算を学習可能なニューラル層に置き換える。
• ターゲット抽出モジュール（TEM）は、ニューラル層を用いてスパarsity制約関数を近似し、従来のソフトスレッショルド処理に代わる。
• バックグラウンド抽出モジュール（BEM）は畳み込み層を用いて低ランクバックグラウンド推定のプロキシタル演算子を模倣し、特異値のしきい値処理を回避する。
• 画像再構成モジュール（IRM）は、推定されたターゲットとバックグラウンドを反復的に組み合わせて入力画像を再構成し、エンドツーエンドの学習を支援する。
• フレームワークは再構成損失を用いてエンドツーエンドで訓練され、ネットワークが最適なパラメータを学習しつつ、物理的解釈性を維持できる。

実験結果

リサーチクエスチョン

• RQ1 モデル駆動の事前知識を学習可能なアーキテクチャに埋め込むことで、深層アンローリングネットワークを赤外線小目標検出に効果的に応用できるか？
• RQ2 検出精度を損なわずに、深層学習ベースのISTDにおける解釈性をどのように向上できるか？
• RQ3 ニューラルネットワークは、従来のしきい値処理手法よりも、RPCAにおけるプロキシタル演算子をより効果的に近似できるか？ また、計算複雑性を低減できるか？
• RQ4 分野特有の最適化手順を組み込むことで、複雑な赤外線シーンにおける検出性能とロバスト性はどの程度向上するか？
• RQ5 モデル駆動とデータ駆動の両方のアプローチを組み合わせたハイブリッドモデルは、純粋にデータ駆動またはモデル駆動のベースラインを上回る性能を示せるか？

主な発見

• NUDT-SIRSTデータセットにおいて、RPCANetはF1スコア0.921、mIoU 0.812を達成し、すべての最先端ベースラインを上回った。
• NUDT-SIRSTデータセットにおいて、AUCは0.9857を記録し、比較されたすべての手法の中で最も高い水準に位置した。
• UIUNet や AGPCNet といったデータ駆動モデルに比べ、RPCANetは誤検出率を顕著に低減した。これらのモデルは過学習や高い誤検出率に苦しんでいた。
• ネットワークはたった120万パラメータで構成されており、UIUNet（210万）や AGPCNet（340万）と比較して、顕著なパラメータ効率性を示した。
• 可視化結果から、RPCANetが小目標の形状と空間的整合性を保持するとともに、バックグラウンドのゴミを効果的に抑制していることが確認された。
• アブレーションスタディの結果、IRMと残差ブロックベースのproxNet設計が性能向上に寄与しており、特にIRMがmIoUを5.2%向上させた。