[논문 리뷰] TBC-Net: A real-time detector for infrared small target detection using semantic constraint

Mingxin Zhao, Cheng Li외 4명|arXiv (Cornell University)|2019. 12. 27.

Infrared Target Detection Methodologies참고 문헌 53인용 수 51

한 줄 요약

TBC-Net은 경량의 목표 추출 모듈과 의미 제약 모듈을 결합하여 단일 프레임에서의 적외선 작은 타겟 감지를 개선하고, 결합 손실과 데이터 합성을 활용하여 임베디드 하드웨어에서 실시간 성능을 가능하게 한다.

ABSTRACT

Infrared small target detection is a key technique in infrared search and tracking (IRST) systems. Although deep learning has been widely used in the vision tasks of visible light images recently, it is rarely used in infrared small target detection due to the difficulty in learning small target features. In this paper, we propose a novel lightweight convolutional neural network TBC-Net for infrared small target detection. The TBCNet consists of a target extraction module (TEM) and a semantic constraint module (SCM), which are used to extract small targets from infrared images and to classify the extracted target images during the training, respectively. Meanwhile, we propose a joint loss function and a training method. The SCM imposes a semantic constraint on TEM by combining the high-level classification task and solve the problem of the difficulty to learn features caused by class imbalance problem. During the training, the targets are extracted from the input image and then be classified by SCM. During the inference, only the TEM is used to detect the small targets. We also propose a data synthesis method to generate training data. The experimental results show that compared with the traditional methods, TBC-Net can better reduce the false alarm caused by complicated background, the proposed network structure and joint loss have a significant improvement on small target feature learning. Besides, TBC-Net can achieve real-time detection on the NVIDIA Jetson AGX Xavier development board, which is suitable for applications such as field research with drones equipped with infrared sensors.

연구 동기 및 목표

• 타깃이 아주 작은 (2–10 픽셀) 잡음이 섞인 배경에서 견고한 적외선 소형 타깃 감지를 촉진한다.
• 극심한 클래스 불균형에서도 소형 타깃 특징을 학습하는 경량 네트워크를 개발한다.
• 타깃 특징 학습을 유도하기 위해 고수준 분류 작업을 통한 의미 제약을 도입한다.
• 임베디드 하드웨어(NVIDIA Jetson Xavier)에서 실시간 추론을 가능하게 한다.
• 학습 및 강건성을 향상시키기 위한 데이터 합성 및 결합 손실을 제안한다.

제안 방법

• 두 모듈 아키텍처를 제안한다: Target Extraction Module(TEM)과 Semantic Constraint Module(SCM).
• TEM은 단일 채널 적외선 타깃을 위해 다운샘플링/업샘플링 및 잔차 연결을 갖춘 인코더-디코더이다.
• SCM은 타깃 수에 따라 TEM 출력을 분류하도록 학습된 다층 CNN으로, TEM 훈련 중 의미 제약을 제공한다.
• L_TBC = L_T + L_B + lambda L_C를 사용하여 TEM을 학습시키는 SCM의 가이던스로 결합 손실을 사용한다.
• 데이터 합성은 소형 타깃 샘플을 백그라운드 이미지에 융합하여 (f_D, f_T, y_T) 라벨이 타깃 수를 나타내는 학습 튜플을 생성한다.
• 추론 중에는 TEM만 사용되어 임베디드 하드웨어에서 실시간 탐지가 가능하다.

실험 결과

연구 질문

• RQ1 심각한 클래스 불균형하에서 SCM을 통한 의미 제약의 도입이 소형 타깃 특징 학습을 개선할 수 있는가?
• RQ2 TEM+SCM 학습 scheme이 전통적인 단일 프레임 적외선 탐지 방법과 비교하여 더 나은 타깃 추출과 낮은 거짓 경보를 생성하는가?
• RQ3 TBC-Net이 NVIDIA Jetson Xavier와 같은 에지 디바이스에서 실시간 적외선 소형 타깃 탐지를 달성할 수 있는가?
• RQ4 현장 IR 시퀀스에서 모델 학습에 합성 데이터가 얼마나 효과적인가?

주요 결과

• TBC-Net은 전통적인 방법에 비해 잡음이 많은 적외선 배경에서 거짓 경보를 줄인다.
• 합동 TEM/SCM 손실은 클래스 불균형에도 불구하고 소형 타깃 특징 학습을 향상시킨다.
• 모델은 NVIDIA Jetson AGX Xavier에서 실시간 성능을 달성한다(256×256 입력).
• 이미지당 1–3개의 융합 타깃이 있는 데이터 합성은 높은 정확도로 SCM을 효과적으로 학습하게 한다.
• SCM은 TEM 훈련을 안내하는 합성 타깃에서 약 97.5%의 분류 정확도를 달성한다.