[논문 리뷰] Enhancing Object Detection in Adverse Conditions using Thermal Imaging

Kshitij Agrawal, Anbumani Subramanian|arXiv (Cornell University)|2019. 09. 30.

Advanced Neural Network Applications참고 문헌 24인용 수 8

한 줄 요약

이 논문은 야간 및 악천후 조건에서 객체 검출 성능을 향상시키기 위해 가시광선 및 열화상 영상을 융합하는 방법을 제안한다. FLIR ADAS 데이터셋을 활용하여 동기화된 RGB 및 열화상 영상 데이터를 제공하며, 열화상 데이터로 훈련한 모델이 저조도 환경에서 검출 정확도를 크게 향상시키는 것으로 나타났다. 반면, 가시광선 영상으로 훈련한 모델은 야간 영상에서 성능이 떨어지며, 이는 자율주행 차량의 인식 능력 향상에 열화상 영상의 가치를 입증한다.

ABSTRACT

Autonomous driving relies on deriving understanding of objects and scenes through images. These images are often captured by sensors in the visible spectrum. For improved detection capabilities we propose the use of thermal sensors to augment the vision capabilities of an autonomous vehicle. In this paper, we present our investigations on the fusion of visible and thermal spectrum images using a publicly available dataset, and use it to analyze the performance of object recognition on other known driving datasets. We present an comparison of object detection in night time imagery and qualitatively demonstrate that thermal images significantly improve detection accuracy.

연구 동기 및 목표

• 자율주행 차량의 인식 성능 향상을 위해 가시광선 카메라가 저조도 및 악천후 조건에서 겪는 한계를 해결한다.
• 주행 환경에서 열화상 영상으로 객체 검출기를 훈련시키는 가능성과 성능을 조사한다.
• 가시광선 영상 영역과 열화상 영상 영역 간의 도메인 전이 성능을 평가하여, 스펙트럼 모odal 간의 일반화 능력을 분석한다.
• 야간 조건에서 가시광선 카메라가 성능을 떨어뜨리는 상황에서 열화상 영상이 검출 정확도를 크게 향상시킬 수 있음을 입증한다.

제안 방법

• FLIR ADAS 데이터셋을 활용하였으며, 이는 14,452장의 열화상 영상에 대해 COCO 스타일의 애너테이션을 제공하는 동기화된 가시광선 및 열화상 영상 데이터를 포함한다.
• 8점 투영 변환(8-point homography)을 사용한 2차원 영상 정렬 기법을 적용하여 열화상 영상의 바운딩 박스 애너테이션을 해당 가시광선 영상으로 이동시켰다.
• Faster R-CNN에 ResNet-101 백본을 적용하여 세 가지 데이터셋(FLIR 열화상(FLIR_THM), 인디안 드라이빙 데이터셋(IDD), KITTI)에서 훈련을 수행하였다.
• 다른 도메인 간 평가를 수행하기 위해, 한 도메인(예: 가시광선)에서 훈련된 모델을 다른 도메인(예: 열화상)에서 테스트하여 도메인 이동 및 전이 가능성의 영향을 분석하였다.
• Faster R-CNN 모델을 COCO에서 사전 학습된 가중치로 초기화하고, 각 데이터셋에서 180,000 반복(iteration) 동안 미세조정(fine-tuned)하였다.
• FLIR, IDD, KITTI 데이터셋 간의 클래스 레이블을 통합된 레이블 매핑 체계에 맞게 번역하여 일관된 평가를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 가시광선 영상에서 훈련된 객체 검출 모델이 열화상 영상에서야 야간 주행 조건에서 더 높은 성능을 보일 수 있는가?
• RQ2 가시광선 영상에서 열화상 영상 도메인으로 전이할 경우, 도메인 이동이 객체 검출기 성능에 어느 정도 영향을 미치는가?
• RQ3 여러 가시광선 영상 데이터셋(IDD, KITTI 등)의 훈련 데이터를 융합하면 열화상 또는 야간 주행 조건에서의 일반화 능력이 향상되는가?
• RQ4 자율주행 응용 분야에서 가시광선 영상 모델에서 열화상 데이터로 소수의 샘플을 활용한 전이 학습(transfer learning)은 얼마나 효과적인가?

주요 결과

• IDD와 KITTI 데이터셋에서 훈련한 가시광선 영상 모델은 FLIR 열화상 영상에서 mAP가 각각 2.6배, 13배 감소하여 도메인 전이 성능이 열악함을 확인하였다.
• FLIR 열화상 데이터만으로 훈련한 모델은 야간 가시광선 영상에서 mAP가 0.237에 그쳐 기준 성능 대비 40% 감소하였으며, 이는 가시광선 도메인으로의 전이 능력이 제한적임을 시사한다.
• IDD 데이터셋에서 훈련한 모델은 야간 가시광선 영상에서 가장 높은 mAP(0.341)를 기록하였으며, 이는 일/야 환경 분포와의 유사성 덕분이었다.
• 동일한 데이터셋에서 KITTI 모델은 자신의 도메인에서는 mAP 0.935를 기록했지만, 열화상 영상에서는 단지 0.070 mAP에 머물러 도메인 이동의 심각성을 확인하였다.
• 열화상 영상 전용 모델은 동일 도메인에서 0.160 mAP의 성능을 기록하였으며, 이는 열화상 데이터만으로는 높은 정확도를 확보하기에 부족함을 의미한다.
• 본 연구는 열화상 영상이 저조도 조건, 특히 야간 조건에서 가시광선 영상 모델이 실패하는 상황에서 검출 성능을 크게 향상시킬 수 있음을 확인하였다.