[논문 리뷰] Asymmetric Contextual Modulation for Infrared Small Target Detection

Yimian Dai, Yiquan Wu외 2명|arXiv (Cornell University)|2020. 09. 30.

Infrared Target Detection Methodologies참고 문헌 39인용 수 28

한 줄 요약

이 논문은 새로운로 소개된 SIRST 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해 상향식 전역적 맥락과 하향식 국소적 세부 정보를 이중 주의 경로를 통해 결합하는 비대칭적 맥락 조절(ACM) 모듈을 제안한다. IoU가 0.743이고 nIoU가 0.731이며, 더 적은 파rameter와 층을 사용하면서도 기존 방법들을 능가한다.

ABSTRACT

Single-frame infrared small target detection remains a challenge not only due to the scarcity of intrinsic target characteristics but also because of lacking a public dataset. In this paper, we first contribute an open dataset with high-quality annotations to advance the research in this field. We also propose an asymmetric contextual modulation module specially designed for detecting infrared small targets. To better highlight small targets, besides a top-down global contextual feedback, we supplement a bottom-up modulation pathway based on point-wise channel attention for exchanging high-level semantics and subtle low-level details. We report ablation studies and comparisons to state-of-the-art methods, where we find that our approach performs significantly better. Our dataset and code are available online.

연구 동기 및 목표

• 낮은 신호 대 간섭비를 갖는 복잡한 배경에서 어두운 소형 적외선 타깃을 탐지하는 데 도전하는 것.
• 수동으로 설계된 특징에 의존하고 다양한 환경 조건에서 실패하는 모델 기반 방법의 한계를 극복하는 것.
• 단일 프레임 적외선 소형 타깃 탐지 분야의 데이터 기반 연구를 지원하기 위해 공개적이고 고품질의 데이터셋(SIRST)을 제공하는 것.
• 소형 타깃 탐지에 적합한 고수준 의미론과 세밀한 저수준 세부 정보의 균형을 잡은 딥 러닝 아키텍처를 설계하는 것.
• 소형 타깃에 대해 신경망의 의미 추상화와 공간 해상도 손실 사이의 본질적 모순을 해결하는 것.

제안 방법

• 상향식 전역 맥락 스트림(전역 채널 주의를 사용)과 하향식 국소 세부 정보 스트림(지점별 채널 주의를 사용)을 갖는 이중 경로로 구성된 비대칭적 맥락 조절(ACM) 모듈을 제안한다.
• ACM 모듈을 FPN 및 U-Net 백본에 통합하여 특징 맵 간 이중 방향 특징 조절을 가능하게 한다.
• 상향식 경로에서 전역 채널 주의를 사용하여 고수준 특징에 종합적인 시나리오 의미를 통합한다.
• 하향식 경로에서 지점별 채널 주의를 사용하여 소형 타깃의 세밀한 국소적 특징을 유지하고 강화한다.
• 소형 타깃 탐지 성능 평가에 더 적합한 새로운 손실 함수와 평가 지표(nIoU)를 설계한다.
• 기존 비공개 데이터셋보다 4배 더 큰 규모와 5종류의 애너테이션 형식을 갖춘 SIRST 데이터셋을 재배포하여 학습 및 벤치마킹 지원.

실험 결과

연구 질문

• RQ1 이중 경로 주의 기반 구조가 고수준 의미론과 저수준 세부 정보를 통합함으로써 소형 탐지 성능을 향상시킬 수 있는가?
• RQ2 하향식 주의 경로가 깊은 네트워크에서 배경에 의해 소형 타깃 특징이 압도당할 위험을 완화하는가?
• RQ3 탐지 정확도와 내성 면에서 대칭적 또는 단방향 주의와 비교해 비대칭 조절 방식은 어떠한가?
• RQ4 새로가공된 공개 데이터셋(SIRST)이 데이터 기반 적외선 소형 탐지 연구에 상당한 진전을 이룰 수 있는가?
• RQ5 제안된 방법이 어두운, 저대비 소형 타깃을 탐지하는 데 있어 기존의 모델 기반 및 데이터 기반 접근법보다 더 효과적인가?

주요 결과

• ACM-FPN 및 ACM-U-Net 모델은 비교된 19개 방법 중에서 최고의 IoU(0.743)와 nIoU(0.731)를 기록하여 최신 기술 수준의 성능을 입증한다.
• 제안된 방법은 네트워크 층 수가 적어도 모든 베이스라인 모델을 능가하며, 파ram터 효율성이 향상됨을 나타낸다.
• 하향식 주의 경로가 네트워크 깊이가 증가할수록 성능 향상에 크게 기여함을 입증하여, 특징 억압 방지를 위한 필수성 확인.
• nIoU 지표는 소형, 저대비 타깃에 대해 더 잘 성능을 반영하므로 IoU보다 소형 탐지 성능 평가에 더 적합함이 입증됨.
• ROC 분석 결과, IoU가 더 좋은 일부 방법과 비교해도 ACM 기반 모델이 다양한 임계값에서 뛰어난 전반적인 탐지 능력을 유지함을 확인.
• SIRST 데이터셋은 데이터 기반 모델의 학습 및 평가에 더 유리하며, 제안된 방법이 이 벤치마크에서 최고의 성능 기록.