[논문 리뷰] Background Semantics Matter: Cross-Task Feature Exchange Network for Clustered Infrared Small Target Detection

Mengxuan Xiao, Zhu, Yinfei외 6명|arXiv (Cornell University)|2024. 07. 29.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 논문은 교차 작업 특징 하드교환을 통해 적외선 소형 타깃 탐지와 배경 세분화를 동시에 수행하는 멀티태스크 네트워크인 BAFE-Net을 제안한다. 이는 군집된 타깃 상황에서 탐지 정확도를 크게 향상시키고 임의의 경고를 감소시키며, 밀도 높은 SIRST라는 새로운 하늘 레이블이 부여된 데이터셋에서 검증된다. 또한 타깃을 하늘 영역에만 붙이는 방식으로 훈련 중 임의의 경고를 방지하는 새로운 데이터 증강 전략인 BAG-CP를 포함한다.

ABSTRACT

Infrared small target detection presents significant challenges due to the limited intrinsic features of the target and the overwhelming presence of visually similar background distractors. We contend that background semantics are critical for distinguishing between objects that appear visually similar in this context. To address this challenge, we propose a task, clustered infrared small target detection, and introduce DenseSIRST, a benchmark dataset that provides per-pixel semantic annotations for background regions. This dataset facilitates the shift from sparse to dense target detection. This dataset facilitates the shift from sparse to dense target detection. Building on this resource, we propose the Background-Aware Feature Exchange Network (BAFE-Net), a multi-task architecture that jointly tackles target detection and background semantic segmentation. BAFE-Net incorporates a dynamic cross-task feature hard-exchange mechanism, enabling the effective exchange of target and background semantics between the two tasks. Comprehensive experiments demonstrate that BAFE-Net significantly enhances target detection accuracy while mitigating false alarms. The DenseSIRST dataset, along with the code and trained models, is publicly available at https://github.com/GrokCV/BAFE-Net.

연구 동기 및 목표

• 기존 방법이 갈등 요소와 시각적으로 유사하여 실패하는 복잡한 배경에서 군집된 적외선 소형 타깃 탐지의 과제를 해결한다.
• 희박한 타깃에 초점을 맞춘 기존 방법의 한계를 극복하기 위해 밀도가 높고 군집된 타깃 상황에 특화된 새로운 탐지 파라다임을 도입한다.
• 배경 의미를 활용하여 실재 타깃과 임의의 경고 사이의 구별 능력을 향상시켜, 건물과 같은 비균일한 배경에서도 효과적으로 작용한다.
• 배경 영역에 대한 픽셀 단위 의미 주석이 부여된 새로운 벤치마크 데이터셋인 DenseSIRST를 개발하여, 밀도 높은 타깃 탐지 연구를 가능하게 한다.
• 특정 영역(하늘 영역)에만 타깃을 붙이는 방식으로 임의의 경고를 방지하는 새로운 데이터 증강 기법인 BAG-CP를 제안한다.

제안 방법

• 공유 백본과 작업 전용 헤드를 사용하여 적외선 소형 타깃 탐지와 배경 세분화를 동시에 수행하는 멀티태스크 아키텍처인 BAFE-Net을 제안한다.
• 탐지 헤드와 세분화 헤드 간의 이중 방향 하드 어텐션 기반 특징 전달을 가능하게 하는 교차 작업 특징 하드교환 메커니즘을 구현하여 특징의 구별 능력을 향상시킨다.
• 가우시안 블렌딩을 사용해 하늘 영역에만 소형 타깃을 선택적으로 붙이는 배경 인식 가우시안 커피 페이스트(BAG-CP) 증강 방법을 설계하여, 복잡한 배경에서 임의의 경고를 방지한다.
• 특징의 풍부함과 계산 효율성의 균형을 고려해 탐색 분석을 통해 ResNet50를 최적의 백본으로 도출하였다.
• DenseSIRST 벤치마크에서 탐지 및 세분화 목표를 통합한 다중 작업 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, mAP 및 Recall 최적화를 목표로 한다.
• 세분화 헤드가 타깃이 아닌 고활성 배경 영역을 억제하도록 유도하여 특징 학습 과정에 배경 의미를 통합함으로써, 임의의 경고를 감소시킨다.

실험 결과

연구 질문

• RQ1 배경 의미의 명시적 모델링이 군집된 적외선 소형 타깃 탐지에서 성능 향상에 기여하는가?
• RQ2 탐지 헤드와 세분화 헤드 간의 교차 작업 특징 교환은 소형 타깃에 대한 특징의 구별 능력을 어떻게 향상시키는가?
• RQ3 하늘 레이블이 부여된 영역을 활용한 선택적 데이터 증강 기법은 기존의 Copy-Paste에 비해 임의의 경고를 얼마나 줄이는가?
• RQ4 제안된 다중 작업 프레임워크는 밀도가 높고 실제 환경의 적외선 벤치마크에서 단일 작업 최신 기술보다 뛰어난 성능을 보이는가?
• RQ5 픽셀 단위의 배경 주석이 부여된 새로운 데이터셋은 군집된 적외선 소형 타깃 탐지 알고리즘의 보다 정확하고 강건한 평가를 가능하게 하는가?

주요 결과

• BAFE-Net은 DenseSIRST 벤치마크에서 모든 최신 일단계 및 이단계 방법들을 능가하는 최고의 mAP_{07}과 mAP_{12} 성능을 달성한다.
• 시각적 분석 결과 BAFE-Net은 타깃 영역에서 강한 활성화를 보이며 배경 활성화 지도가 훨씬 더 깔끔한 것으로 나타나, 임의의 경고의 억제 능력이 뛰어나다는 것을 시사한다.
• BAG-CP는 표준 Copy-Paste에 비해 임의의 경고를 감소시키며, 갈등 요소가 덜 발생할 가능성이 높은 하늘 영역에만 타깃을 삽입하기 때문에 효과적이다.
• ResNet50는 특징의 풍부함과 계산 비용의 균형을 고려해 최적의 백본으로 확인되었으며, 더 깊은 네트워크인 ResNet101은 특징 과도 평활화로 인해 성능 저하를 겪었다.
• 교차 작업 특징 하드교환을 통한 다중 작업 설계는 더 높은 탐지 민감도와 낮은 배경 활성화를 통해 특징의 구별 능력 향상을 입증한다.
• 제안된 DenseSIRST 데이터셋은 희박한 탐지에서 밀도 높은 탐지로의 전환을 가능하게 하며, 배경 영역에 대한 픽셀 단위의 의미 주석을 제공함으로써 향후 연구에 현실적인 벤치마크를 제공한다.