[논문 리뷰] ILNet: Low-level Matters for Salient Infrared Small Target Detection

Haoqing Li, Jinfu Yang외 2명|arXiv (Cornell University)|2023. 09. 24.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 논문은 인프라레드 소형 목표물 검출을 위한 새로운 딥러닝 프레임워크인 ILNet을 제안한다. 이 프레임워크는 상호작용형 편극 수직 융합(IPOF) 모듈과 동적 특징 융합을 위한 대표성 블록(RB)을 도입하여 저수준 특징을 우선시한다. DODA 레이어를 통해 고해상도 저수준 특징을 유지하고 동적으로 융합함으로써, NUAA-SIRST(78.22% nIoU, 1.33×10⁻⁶ Fa) 및 IRSTD-1K(68.91% nIoU, 3.23×10⁻⁶ Fa)에서 최신 기술 수준(SOTA) 성능을 달성하며, 데이터 양이 증가함에 따라 뛰어난 강건성을 입증한다.

ABSTRACT

Infrared small target detection is a technique for finding small targets from infrared clutter background. Due to the dearth of high-level semantic information, small infrared target features are weakened in the deep layers of the CNN, which underachieves the CNN's representation ability. To address the above problem, in this paper, we propose an infrared low-level network (ILNet) that considers infrared small targets as salient areas with little semantic information. Unlike other SOTA methods, ILNet pays greater attention to low-level information instead of treating them equally. A new lightweight feature fusion module, named Interactive Polarized Orthogonal Fusion module (IPOF), is proposed, which integrates more important low-level features from the shallow layers into the deep layers. A Dynamic One-Dimensional Aggregation layers (DODA) are inserted into the IPOF, to dynamically adjust the aggregation of low dimensional information according to the number of input channels. In addition, the idea of ensemble learning is used to design a Representative Block (RB) to dynamically allocate weights for shallow and deep layers. Experimental results on the challenging NUAA-SIRST (78.22% nIoU and 1.33e-6 Fa) and IRSTD-1K (68.91% nIoU and 3.23e-6 Fa) dataset demonstrate that the proposed ILNet can get better performances than other SOTA methods. Moreover, ILNet can obtain a greater improvement with the increasement of data volume. Training code are available at https://github.com/Li-Haoqing/ILNet.

연구 동기 및 목표

• 소형 인프라레드 목표물이 깊은 층에서 충분한 고수준 특징이 부족하여 의미 정보를 상실하는 컨volutional 네트워크(CNN)의 깊은 감소 문제를 해결하기 위해.
• 소형 인프라레드 목표물을 의미적 콘텐츠가 최소한인 주목할 만한 영역로 재고찰함으로써 검출 성능을 향상시키기 위해.
• 얕은 층에서 온 저수준 특징을 우선시하고 이를 효과적으로 깊은 디코더 단계에 통합함으로써 특징 융합을 향상시키기 위해.
• DODA 및 RB 블록을 통한 동적이고 적응적인 특징 융합을 통해 잡음 및 누락 검출을 줄이기 위해.
• 증가하는 데이터 양에 따라 일반화 성능 향상을 입증함으로써 모델의 확장성과 강건성을 입증하기 위해.

제안 방법

• 상호작용형 편극 수직 융합(IPOF) 모듈은 고해상도 저수준 특징을 유지하면서 수직 주의를 통해 깊은 특징과 융합함으로써 인코더와 디코더 간 双방향 특징 융합을 가능하게 한다.
• IPOF에 동적 일차원 집계(DODA) 레이어를 통합하여 입력 채널 수에 따라 특징 융합을 동적으로 조정함으로써 저차원 특징의 표현을 향상시킨다.
• 대표성 블록(RB)은 앙상블 학습을 통해 얕은 층과 깊은 층의 특징 간 주의 가중치를 동적으로 할당함으로써 특징 융합을 강화하고 깊은 감소 현상을 완화한다.
• IPOF는 내부 해상도를 고유하게 유지하여 다운샘플링 과정에서의 정보 손실를 최소화함으로써 소형 목표물 특징이 네트워크 전반에 걸쳐 유지됨을 보장한다.
• RB 블록은 얕은 특징이 깊은 층의 표현을 안내하는 새로운 특징 강화 전략을 사용하며, 이는 이중선형 또는 최근접 이웃 보간과 같은 표준 업샘플링 방법보다 뛰어난 성능을 발휘한다.
• 전체 네트워크는 세그멘테이션 기반 손실을 사용하여 엔드 투 엔드로 훈련되며, 인프라레드 소형 목표물 검출을 주목할 만한 객체 검출 작업으로 간주한다.

실험 결과

연구 질문

• RQ1 CNN 기반 네트워크에서 저수준 특징을 우선시하는 것이 의미 콘텐츠가 최소한인 인프라레드 소형 목표물의 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 DODA 레이어를 통한 동적 특징 융합이 깊은 층의 저차원 특징 표현에 어떤 영향을 미치는가?
• RQ3 동적 가중치 할당 기능을 갖춘 대표성 블록(RB)이 깊은 감소 현상을 얼마나 줄이고 검출 정확도를 향상시키는가?
• RQ4 소형 목표물 세부 사항을 유지하는 데 있어 제안된 IPOF 모듈이 표준 스킵 커넥션 및 특징 융합 모듈보다 어떻게 우월한가?
• RQ5 ILNet은 증가하는 훈련 데이터 양에 따라 개선된 일반화 및 확장성을 보여주는가?

주요 결과

• NUAA-SIRST 데이터셋에서 ILNet은 78.22% nIoU 및 1.33×10⁻⁶ Fa를 달성하여 비교된 모든 최신 기술 수준(SOTA) 방법을 능가한다.
• IRSTD-1K 데이터셋에서 ILNet은 68.91% nIoU 및 3.23×10⁻⁶ Fa를 기록하여 벤치마크 전반에서 일관된 우수성을 입증한다.
• 추론 분석 결과, IPOF와 RB를 조합하면 최고의 성능(78.12% IoU, 76.42% nIoU, 5.50 Fa)을 달성하여 상호보완적 효과를 입증한다.
• DODA를 통합한 IPOF 모듈은 기준 모델 대비 잡음 감소 효과로 인해 임의의 경고를 45.5% 감소시켰다.
• 얕은 층에서 깊은 층으로의 특징 강화를 수행하는 RB 블록은 표준 업샘플링 방법인 이중선형(10.25 Fa) 및 Carafe(8.87 Fa)보다 임의의 경고를 7.76 Fa로 크게 감소시켰다.
• ILNet는 데이터 양이 증가할수록 더 큰 성능 향상을 보이며, 강력한 확장성과 향후 데이터 기반 향상 잠재력을 보여준다.