[논문 리뷰] Dense Nested Attention Network for Infrared Small Target Detection

Boyang Li, Chao Xiao외 6명|arXiv (Cornell University)|2021. 06. 01.

Infrared Target Detection MethodologiesEngineering인용 수 22

한 줄 요약

이 논문은 적외선 소형 목표물 검출을 위한 밀도 높은 네스트형 주의망(DNA-Net)을 제안하며, 삼중 방향의 밀도 높은 네스트형 상호작용 모듈(DNIM)과 계단식 채널-공간 주의 모듈을 활용하여 점진적이고 다중 수준의 특징 융합 및 강화를 가능하게 하여 깊은 층에서도 소형 목표물을 유지합니다. 이 방법은 공개 및 새로 도입된 대규모 데이터셋(NUDT-SIRST)에서 최신 기술 수준(SOTA)의 성능을 달성하여 검출 확률, 오류 경고 비율, IoU에서 기존 방법을 능가합니다.

ABSTRACT

Single-frame infrared small target (SIRST) detection aims at separating small targets from clutter backgrounds. With the advances of deep learning, CNN-based methods have yielded promising results in generic object detection due to their powerful modeling capability. However, existing CNN-based methods cannot be directly applied for infrared small targets since pooling layers in their networks could lead to the loss of targets in deep layers. To handle this problem, we propose a dense nested attention network (DNANet) in this paper. Specifically, we design a dense nested interactive module (DNIM) to achieve progressive interaction among high-level and low-level features. With the repeated interaction in DNIM, infrared small targets in deep layers can be maintained. Based on DNIM, we further propose a cascaded channel and spatial attention module (CSAM) to adaptively enhance multi-level features. With our DNANet, contextual information of small targets can be well incorporated and fully exploited by repeated fusion and enhancement. Moreover, we develop an infrared small target dataset (namely, NUDT-SIRST) and propose a set of evaluation metrics to conduct comprehensive performance evaluation. Experiments on both public and our self-developed datasets demonstrate the effectiveness of our method. Compared to other state-of-the-art methods, our method achieves better performance in terms of probability of detection (Pd), false-alarm rate (Fa), and intersection of union (IoU).

연구 동기 및 목표

• Pooling 연산으로 인해 깊은 CNN 층에서 소형 적외선 목표물이 손실되는 문제를 해결하기 위해.
• 고수준 및 저수준 특징의 반복적 융합을 통해 소형 목표물의 특징 표현을 향상시키기 위해.
• 실제 조건에서 신뢰할 수 있는 평가를 지원하기 위해 대규모이고 다양한 적외선 소형 목표물 데이터셋(NUDT-SIRST)을 개발하기 위해.
• 적외선 소형 목표물 검출에 특화된 종합적인 평가 지표 세트를 도입하기 위해.
• 합성 이미지를 활용한 데이터 증강 기법이 고비용의 실제 데이터 의존도를 줄이고 모델의 일반화 능력을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모든 인코더 및 디코더 레이어를 삼중 방향의 완전히 연결된 네스트형 구조로 연결하는 밀도 높은 네스트형 상호작용 모듈(DNIM)을 제안하여 반복적인 다중 수준 특징 상호작용을 가능하게 합니다.
• 채널 및 공간 차원 양쪽에서 상호의존성을 모델링함으로써 다중 척도에서 특징을 적응적으로 강화하는 계단식 채널 및 공간 주의 모듈(CSAM)을 도입합니다.
• 다양한 레이어의 특징을 융합하여 저수준의 세부 정보와 고수준의 의미 정보를 결합함으로써 강력한 검출을 위한 특징 피라미드 융합 모듈(FPFM)을 활용합니다.
• 모델 일반화 능력을 향상시키고 데이터 수집 비용을 절감하기 위해 실제 및 합성 적외선 이미지로 구성된 혼합 데이터셋을 사용하는 새로운 학습 전략을 설계합니다.
• 학습 중 소형 목표물 특징을 유지하기 위해 디코더 레이어의 다중 수준에서 검출 헤드를 감독하는 다중 척도 감독 전략을 적용합니다.
• 분할 성능을 최적화하기 위해 이진 교차 엔트로피 손실과 딱지 손실을 조합한 하이브리드 손실 함수를 적용합니다.

실험 결과

연구 질문

• RQ1 밀도 높은 네스트형 아키텍처가 다운샘플링으로 인한 손실을 방지하기 위해 깊은 합성곱 레이어에서 소형 목표물 특징을 효과적으로 유지할 수 있는가?
• RQ2 계단식 채널 및 공간 주의가 적외선 소형 목표물의 특징 표현에 얼마나 기여하는가?
• RQ3 제안된 DNA-Net이 공개 및 새로 수집된 데이터셋 모두에서 최신 기술 수준의 방법들보다 얼마나 효과적인가?
• RQ4 합성된 적외선 소형 목표물 이미지가 실제 데이터를 보완하여 모델의 일반화 능력을 향상시키고 애너테이션 비용을 절감하는 데 효과적인가?
• RQ5 제안된 평가 지표 세트가 복잡한 실제 환경에서의 적외선 소형 목표물 검출 시스템 성능을 더 잘 반영하는가?

주요 결과

• 혼합 데이터셋(실제 및 합성 이미지)으로 훈련한 DNA-Net은 NUAA-SIRST 테스트 세트에서 77.47%의 IoU, 98.48%의 검출 확률, 4.223×10⁻⁶의 오류 경고 비율을 달성합니다.
• 제거 실험 결과, 특징 피라미드 융합 모듈(FPFM)을 제거할 경우 IoU는 0.83% 감소하고 오류 경고 비율은 1.81×10⁻⁶ 증가하여 그 핵심적인 역할을 입증합니다.
• 가장 깊은 레이어(L5)의 특징을 제거할 경우 IoU는 0.23% 감소하고 오류 경고 비율은 3.01×10⁻⁶ 증가하여 깊은 층의 특징이 소형 목표물 검출에 중요함을 시사합니다.
• 실제 이미지 비율이 16.2%에 불과한 혼합 데이터셋으로 훈련해도 전체 실재 데이터 훈련과 유사한 성능을 달성하여 데이터 수집 비용을 절감하면서도 높은 정확도를 유지합니다.
• 실제 이미지에 대한 네트워크 출력이 수작업 애너테이션 마스크보다 형태 분할 정밀도에서 뛰어나, 잘 레이블링된 합성 데이터로부터 우수한 특징 학습 능력을 보여줍니다.
• 다양한 목표물 크기, 형태, 혼잡한 배경을 포함한 NUDT-SIRST 데이터셋은 기존 벤치마크보다 더 종합적인 평가를 가능하게 합니다.