[논문 리뷰] CourtNet for Infrared Small-Target Detection

Jingchao Peng, Haitao Zhao외 3명|arXiv (Cornell University)|2022. 09. 28.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

CourtNet는 법원 절차를 영감으로 삼은 새로운 적외선 소형 타깃 탐지 방법으로, 높은 재현율을 위한 검찰 네트워크, 높은 정밀도를 위한 피고 네트워크, 그리고 그 출력을 적응적으로 융합하는 재판부 네트워크를 포함한다. 소형 타깃을 유지하기 위해 세분화된 주의를 갖춘 밀집 연결 트랜스포머를 사용하고, 정밀도-재현율 균형을 최적화하기 위해 적응형 보정 손실을 적용하여, MFIRST에서 F1 점수 0.62, SIRST에서 0.73의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Infrared small-target detection (ISTD) is an important computer vision task. ISTD aims at separating small targets from complex background clutter. The infrared radiation decays over distances, making the targets highly dim and prone to confusion with the background clutter, which makes the detector challenging to balance the precision and recall rate. To deal with this difficulty, this paper proposes a neural-network-based ISTD method called CourtNet, which has three sub-networks: the prosecution network is designed for improving the recall rate; the defendant network is devoted to increasing the precision rate; the jury network weights their results to adaptively balance the precision and recall rate. Furthermore, the prosecution network utilizes a densely connected transformer structure, which can prevent small targets from disappearing in the network forward propagation. In addition, a fine-grained attention module is adopted to accurately locate the small targets. Experimental results show that CourtNet achieves the best F1-score on the two ISTD datasets, MFIRST (0.62) and SIRST (0.73).

연구 동기 및 목표

• 소형 타깃이 배경 잡음과 혼동되거나 쉽게 사라지는 문제로 인해 적외선 소형 타깃 탐지(ISTD)에서 높은 정밀도와 높은 재현율을 동시에 확보하는 데 도전한다.
• 표준 비전 트랜스포머가 희석된 주의와 깊은 네트워크에서의 특징 열화로 인해 하위패치 타깃을 정확히 국소화하지 못하는 한계를 극복한다.
• 수동적인 임계값 조정 없이도 정밀도와 재현율을 적응적으로 균형 잡는 탐지 프레임워크를 설계한다.
• 밀집 잔차 연결과 세분화된 주의를 사용하여 깊은 네트워크 전파 과정에서 소형 타깃 특징을 유지한다.

제안 방법

• CourtNet는 세 가지 분기 아키텍처를 사용한다: 검찰 네트워크는 모든 의심 타깃을 탐지함으로써 재현율을 극대화하고, 피고 네트워크는 잡음 신호를 걸러내어 정밀도를 향상시키며, 재판부 네트워크는 그들의 출력을 가중 평균 융합한다.
• 검찰 네트워크는 밀집 연결 트랜스포머를 사용하여 저수준 및 고수준 특징을 유지하여 전방 전파 과정에서 소형 타깃이 사라지는 것을 방지한다.
• 각 패치 내부에서 세분화된 주의 모듈을 적용하여 패치 내 소형 타깃을 정확히 국소화하며, 표준 비전 트랜스포머의 거시적 주의와 보완한다.
• 적응형 보정 손실을 도입하여 정밀도와 재현율 손실 성분을 그 상대적 크기에 따라 동적으로 스케일링함으로써 학습의 진동을 줄이고 수렴 속도를 향상시킨다.
• 모델은 MFIRST와 SIRST 두 가지 벤치마크 데이터셋에서 엔드 투 엔드로 학습되며, 평가 기준으로 F1 점수를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 검찰-피고-재판부 역할을 가진 법원 영감의 신경망 아키텍처가 ISTD에서 탐지 재현율과 정밀도의 균형을 향상시킬 수 있는가?
• RQ2 세분화된 주의를 갖춘 밀집 연결 트랜스포머가 적외선 이미지 내 하위패치 소형 타깃을 효과적으로 유지하고 국소화할 수 있는가?
• RQ3 적응형 보정 손실이 기존 손실 함수에 비해 더 안정적이고 빠른 수렴을 이끌 수 있는가?
• RQ4 제안된 방법이 기존 최신 기술 수준의 방법들보다 표준 ISTD 벤치마크에서 F1 점수 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• CourtNet는 MFIRST 데이터셋에서 최고의 F1 점수 0.62를 기록하여 기존 방법들을 능가한다.
• SIRST 데이터셋에서는 F1 점수 0.73을 기록하여 새로운 최신 기술 수준의 성능을 확립한다.
• 세분화된 주의 모듈은 주기 9의 순환적 특징 패tern을 보이며, 패치 내 타깃을 일관되게 국소화할 수 있음을 확인한다.
• 적응형 보정 손실은 더 안정적인 학습 곡선을 통해 학습의 진동을 줄이고 수렴 속도를 향상시킨다.
• 검찰 네트워크는 구축된 테스트 세트에서 100% 탐지율을 기록했으며, F1 점수는 80%였다.