[논문 리뷰] A high performance approach to detecting small targets in long range low quality infrared videos

Chiman Kwan, Bence Budavari|arXiv (Cornell University)|2020. 12. 04.

Infrared Target Detection Methodologies참고 문헌 29인용 수 5

한 줄 요약

이 논문은 장거리, 저품질의 중간파장 적외선(MWIR) 영상에서 작은 목표물을 감지하기 위한 고성능 방법을 제안한다. 영상 해상도 향상, 국소 강도 및 기울기(LIG)-기반 검출기, 연결된 성분 분석, 트랙 연동을 통합한 방식이다. 실제 MWIR 영상(3500–5000m 범위)에서 평가된 결과, 낮은 SNR 조건에서도 감지 정확도와 강인성이 크게 향상되었다.

ABSTRACT

Since targets are small in long range infrared (IR) videos, it is challenging to accurately detect targets in those videos. In this paper, we propose a high performance approach to detecting small targets in long range and low quality infrared videos. Our approach consists of a video resolution enhancement module, a proven small target detector based on local intensity and gradient (LIG), a connected component (CC) analysis module, and a track association module to connect detections from multiple frames. Extensive experiments using actual mid-wave infrared (MWIR) videos in ranges between 3500 m and 5000 m from a benchmark dataset clearly demonstrated the efficacy of the proposed approach.

연구 동기 및 목표

• 장거리 적외선 영상에서 해상도와 신호 대 잡음비(SNR)가 낮은 조건에서 작은 어두운 목표물을 감지하는 데 도전 과제를 해결하기 위해.
• 3500–5000m 거리에서 촬영된 중간파장 적외선(MWIR) 영상에서 감지 성능을 향상시키기 위해.
• 해상도 향상, 작은 목표물 감지, 프레임 간 시간적 일관성 유지 기능을 통합한 강인한 종단 간 파이프라인 개발을 위해.
• 장거리 MWIR 영상 시퀀스로 구성된 실제 벤치마크 데이터셋에서의 유효성 입증을 위해.

제안 방법

• 저품질 적외선 시퀀스의 공간 해상도를 향상시키고 노이즈를 감소시키기 위해 영상 해상도 향상 모듈을 적용한다.
• 국소 강도 및 기울기(LIG)-기반 소형 목표물 검출기를 사용하여 국소 대비 및 기울기 특징에 기반한 후보 목표물을 식별한다.
• 공간적으로 일관된 검출을 그룹화하고 잡음 신호를 억제하기 위해 연결된 성분(CC) 분석을 적용한다.
• 검출 결과를 프레임 간에 연결하여 시간에 따라 일관된 목표물 궤적을 형성하는 트랙 연동 모듈을 사용한다.
• 영상 해상도 향상, 검출, 분할, 추적 기능을 통합한 유일한 처리 체인으로 파이프라인을 구성한다.
• 실제 MWIR 영상 시퀀스를 사용하여 벤치마크 데이터셋에서 3500–5000m 범위로 평가한다.

실험 결과

연구 질문

• RQ1 영상 해상도 향상이 장거리 적외선 영상에서 작은 목표물의 감지 가능성에 뚜렷한 영향을 미치는가?
• RQ2 낮은 신호 대 잡음비 조건에서 LIG 기반 검출기가 하위 픽셀 목표물을 얼마나 효과적으로 식별하는가?
• RQ3 연결된 성분 분석이 소형 목표물 감지에서 잡음 신호를 얼마나 효과적으로 줄이는가?
• RQ4 저품질 영상 시퀀스에서 트랙 연동이 프레임 간 일관된 목표물 궤적을 얼마나 잘 유지하는가?
• RQ5 실제 세계의 장거리 MWIR 영상 데이터에서 통합된 파이프라인의 총합 감지 성능은 어떠한가?

주요 결과

• 제안된 방법은 3500m에서 5000m 사이의 실제 MWIR 영상 시퀀스에서 뛰어난 감지 성능을 달성한다.
• 영상 해상도 향상과 LIG 기반 검출의 통합이 기준 방법 대비 감지율을 크게 향상시킨다.
• 연결된 성분 분석은 고립된, 비연결된 검출을 걸러내어 잡음 신호를 효과적으로 감소시킨다.
• 트랙 연동은 여러 프레임에 걸쳐 일관된 목표물 궤적을 유지하여 추적 신뢰도를 향상시킨다.
• 전체 파이프라인은 낮은 SNR, 장거리 적외선 영상 조건에서도 강인성과 높은 성능을 보여준다.