[논문 리뷰] Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning

Yiming Sun, Bing Cao외 2명|arXiv (Cornell University)|2020. 03. 05.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 드론 기반 RGB-적외선 차량 검출을 위한 새로운 불확실성 인식형 다중모odal 검출 프레임워크인 UA-CMDet을 제안한다. 이는 모odal별 불확실성 측정과 조명 인지형 NMS를 활용하여 저조도 조건에서의 성능을 향상시킨다. 새로운 도입된 DroneVehicle 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 도전적인 야간 환경에서 여러 차량 유형의 검출 정확도를 크게 향상시킨다.

ABSTRACT

Drone-based vehicle detection aims at finding the vehicle locations and categories in an aerial image. It empowers smart city traffic management and disaster rescue. Researchers have made mount of efforts in this area and achieved considerable progress. Nevertheless, it is still a challenge when the objects are hard to distinguish, especially in low light conditions. To tackle this problem, we construct a large-scale drone-based RGB-Infrared vehicle detection dataset, termed DroneVehicle. Our DroneVehicle collects 28, 439 RGB-Infrared image pairs, covering urban roads, residential areas, parking lots, and other scenarios from day to night. Due to the great gap between RGB and infrared images, cross-modal images provide both effective information and redundant information. To address this dilemma, we further propose an uncertainty-aware cross-modality vehicle detection (UA-CMDet) framework to extract complementary information from cross-modal images, which can significantly improve the detection performance in low light conditions. An uncertainty-aware module (UAM) is designed to quantify the uncertainty weights of each modality, which is calculated by the cross-modal Intersection over Union (IoU) and the RGB illumination value. Furthermore, we design an illumination-aware cross-modal non-maximum suppression algorithm to better integrate the modal-specific information in the inference phase. Extensive experiments on the DroneVehicle dataset demonstrate the flexibility and effectiveness of the proposed method for crossmodality vehicle detection. The dataset can be download from https://github.com/VisDrone/DroneVehicle.

연구 동기 및 목표

• RGB 모달이 낮은 시야를 보이는 저조도 드론 항공 영상에서의 차량 검출 과제를 해결한다.
• RGB와 적외선 모달 간의 상보적 정보 융합을 통해 단일 모달 검출의 한계를 극복한다.
• 특히 적외선 이미지의 임의의 양성 결과와 RGB 이미지의 저시야 문제를 포함한 다중모달 데이터의 내재된 부정확성과 불확실성 문제를 해결한다.
• 불확실성과 조도에 기반해 모달을 동적으로 가중하는 통합 프레임워크를 개발하여 정확성과 강인성을 향상시킨다.
• 향후 연구를 지원하기 위해 대규모, 전 시간대, 다중모달 데이터셋(DroneVehicle)을 제공한다.

제안 방법

• 다중모달 교차 IoU와 RGB 조도 값을 사용해 모달별 불확실성을 정량화하는 불확실성 인식 모듈(UAM)을 제안한다.
• 불확실성 가중치를 특징 융합에 통합하여 학습 및 추론 시 신뢰할 수 있는 모달 정보를 우선순위로 지정한다.
• 조명 조건에 따라 양 모달의 예측을 적응적으로 융합하는 조명 인지형 비최대 억제(IA-NMS) 알고리즘을 설계한다.
• RGB와 적외선 입력을 별도로 처리하는 다중지점 검출기(RoITransformer 기반)를 사용하고, 불확실성 가중치를 적용한 후행 융합을 수행한다.
• 상보적인 특징 학습을 장려하면서도 중복되거나 모순되는 예측을 최소화하는 공동 최적화 전략을 적용한다.
• 28,439개의 RGB-적외선 이미지 쌍과 953,087개의 차량에 대해 방향성 경계 상자 애너테이션을 포함한 DroneVehicle 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 드론 기반 차량 검출에서 RGB와 적외선 모달의 불확실성은 어떻게 효과적으로 정량화하고 다중모달 특징 융합에 활용할 수 있는가?
• RQ2 조명 인지형 NMS 전략은 저조도 조건에서 모달별 예측을 더 잘 통합함으로써 검출 성능을 향상시킬 수 있는가?
• RQ3 제안된 UA-CMDet 프레임워크는 실제 드론 영상에서 단일 모달 및 기존 다중모달 검출 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 대규모 전 시간대 다중모달 데이터셋(DroneVehicle)의 포함이 차량 검출 모델의 강인성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 특히 도전적인 야간 조건에서 다양한 차량 유형의 검출 정확도 향상 수치는 무엇인가?

주요 결과

• 제안된 UA-CMDet 프레임워크는 DroneVehicle 데이터셋에서 최신 기술 수준의 성능을 달성하며, RGB 및 적외선 모달 양쪽에서 베이스라인 모델을 크게 능가한다.
• 야간 환경에서 차량 검출 정확도는 단일 모달 기반 모델 대비 승용차 4.12%, 화물차 3.95%, 트럭 9.17%, 버스 7.6%, 밴 3.56% 향상되었다.
• 자동차 검출 정확도는 약간 감소했지만, 불확실성 인식 융합 덕분에 임의의 양성 결과와 누락 검출이 감소하여 총합 성능 향상은 뚜렷하다.
• 조명 인지형 NMS(IA-NMS)는 적외선 이미지에서 발생하는 '유령 그림자'와 혼동스러운 직사각형 물체로 인한 임의의 양성 결과를 효과적으로 감소시켰다.
• 시각화 결과는 UA-CMDet이 보조적인 적외선 신호를 활용해 저조도 RGB 이미지에서 차량을 성공적으로 검출하고, 동시에 단독 적외선 검출에서의 임의의 양성 결과를 억제함을 확인한다.
• 28,439개의 이미지 쌍과 953,087개의 애너테이션을 포함한 DroneVehicle 데이터셋은 전 세계에서 처음으로, 가장 큰 전 시간대 다중모달 드론 기반 차량 검출 데이터셋으로, 더 강인하고 일반화 능력이 뛰어난 모델 훈련을 가능하게 한다.