[논문 리뷰] RPCANet: Deep Unfolding RPCA Based Infrared Small Target Detection

Fengyi Wu, Tianfang Zhang외 3명|arXiv (Cornell University)|2023. 11. 02.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 논문은 이완된 강건한 주성분 분석(RPCA) 최적화를 신경망으로 전개하여 적외선 소형 목표물 탐지(ISTD)를 위한 해석 가능한 딥러닝 프레임워크인 RPCANet을 제안한다. 타깃 추출과 배경 추정을 신경층을 통한 학습 가능한 프락시 연산자로 모델링함으로써, 기존 방법에 비해 더 높은 성능, 향상된 해석 가능성, 낮은 오류 경고 수, 더 적은 파라미터 수를 달성한다.

ABSTRACT

Deep learning (DL) networks have achieved remarkable performance in infrared small target detection (ISTD). However, these structures exhibit a deficiency in interpretability and are widely regarded as black boxes, as they disregard domain knowledge in ISTD. To alleviate this issue, this work proposes an interpretable deep network for detecting infrared dim targets, dubbed RPCANet. Specifically, our approach formulates the ISTD task as sparse target extraction, low-rank background estimation, and image reconstruction in a relaxed Robust Principle Component Analysis (RPCA) model. By unfolding the iterative optimization updating steps into a deep-learning framework, time-consuming and complex matrix calculations are replaced by theory-guided neural networks. RPCANet detects targets with clear interpretability and preserves the intrinsic image feature, instead of directly transforming the detection task into a matrix decomposition problem. Extensive experiments substantiate the effectiveness of our deep unfolding framework and demonstrate its trustworthy results, surpassing baseline methods in both qualitative and quantitative evaluations.

연구 동기 및 목표

• 딥러닝의 흑박상자 성향 문제를 도메인 특화 최적화 사전 지식을 통합함으로써 적외선 소형 목표물 탐지(ISTD)에서 해결하고자 한다.
• 순수 데이터 기반 모델의 한계를 극복하고자 하며, 이는 종종 다운샘플링으로 인해 소형 목표물을 손실하거나 과적합하는 경향이 있다.
• RPCA의 물리적 및 수학적 제약 조건을 신경망 아키텍처에 통합함으로써 ISTD에서의 해석 가능성과 신뢰성을 향상시키고자 한다.
• 고도의 탐지 정확도와 낮은 오류 경고 비율을 달성하면서도 고유한 이미지 특징을 유지하는 네트워크를 개발하고자 한다.

제안 방법

• RPCANet는 ISTD를 이완된 RPCA 문제로 설정하여 이미지를 희박한 타깃과 낮은 질서의 배경으로 분해한다.
• RPCA 모델의 반복 최적화 단계를 딥 아키텍처로 전개하며, 복잡한 행렬 연산을 학습 가능한 신경층으로 대체한다.
• 타깃 추출 모듈(TEM)은 신경층을 사용하여 희박성 제약 함수를 근사하고, 기존의 소프트 스위칭 대신 이를 대체한다.
• 배경 추출 모듈(BEM)은 컨볼루션 레이어를 활용하여 낮은 질서의 배경 추정을 위한 프락시 연산자를 모방함으로써 특이값 임계 처리를 피한다.
• 이미지 재구성 모듈(IRM)은 추정된 타깃과 배경을 반복적으로 조합하여 입력 이미지를 재구성하며, 엔드 투 엔드 학습을 이끌어낸다.
• 프레임워크는 재구성 손실을 통해 엔드 투 엔드로 훈련되며, 물리적 해석 가능성과 동시에 최적의 파라미터를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 아키텍처에 모델 기반 사전 지식을 통합함으로써 딥 언폴딩 네트워크가 적외선 소형 목표물 탐지에 효과적으로 적용될 수 있는가?
• RQ2 탐지 정확도를 희생시키지 않고도 딥러닝 기반 ISTD에서의 해석 가능성을 어떻게 향상시킬 수 있는가?
• RQ3 신경망이 기존의 임계 처리 방법보다 RPCA의 프락시 연산자를 더 효과적으로 근사할 수 있는가? 이는 계산 복잡도를 감소시킬 수 있는가?
• RQ4 도메인 특화 최적화 단계를 통합할 경우, 복잡한 적외선 환경에서 탐지 성능과 강건성은 어느 정도 향상되는가?
• RQ5 모델 기반과 데이터 기반 접근 방식을 융합한 하이브리드 모델이 순수 데이터 기반 또는 순수 모델 기반 기준보다 우월한 성능을 내는가?

주요 결과

• RPCANet는 NUDT-SIRST 데이터셋에서 F1 스코어 0.921과 mIoU 0.812를 기록하여 모든 최신 기준 모델을 능가한다.
• NUDT-SIRST 데이터셋에서 AUC는 0.9857을 기록하여 비교된 모든 방법 중 최상위 수준에 속한다.
• UIUNet 및 AGPCNet과 같은 데이터 기반 모델에 비해 오류 경고율을 크게 감소시켰으며, 이는 과적합과 높은 오진 양상으로 인한 문제를 해결한 것이다.
• 모델은 단지 1.2M개의 파라미터만을 사용하여 UIUNet(2.1M)과 AGPCNet(3.4M)에 비해 뚜렷한 파라미터 효율성을 보였다.
• 시각화 결과는 RPCANet가 소형 목표물의 형태와 공간적 통합성을 유지하면서도 효과적으로 배경 잡음을 억제함을 확인한다.
• 제거 분석 결과, IRM과 잔차 블록 기반의 proxNet 설계가 성능 향상에 기여하며, IRM이 mIoU를 5.2% 향상시키는 데 기여했다.