[논문 리뷰] Drone Based RGBT Vehicle Detection and Counting: A Challenge

Pengfei Zhu, Yiming Sun외 3명|arXiv (Cornell University)|2020. 03. 05.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 8

한 줄 요약

이 논문은 다양한 도시 환경과 조명 조건에서 15,532개의 이미지 쌍과 441,642개의 객체 레이블이 포함된 대규모 RGBT(색상 및 열화상 인프라레드) 기반 벤치마크인 DroneVehicle을 소개한다. 이는 드론 기반 시각 분석의 고도화 평가, 특히 조명, 가림, 크기 변화와 같은 도전 과제가 있는 상황에서의 객체 검출 및 수량 측정 작업에 유용하다.

ABSTRACT

Camera-equipped drones can capture targets on the ground from a wider field of view than static cameras or moving sensors over the ground. In this paper we present a large-scale vehicle detection and counting benchmark, named DroneVehicle, aiming at advancing visual analysis tasks on the drone platform. The images in the benchmark were captured over various urban areas, which include different types of urban roads, residential areas, parking lots, highways, etc., from day to night. Specifically, DroneVehicle consists of 15,532 pairs of images, i.e., RGB images and infrared images with rich annotations, including oriented object bounding boxes, object categories, etc. With intensive amount of effort, our benchmark has 441,642 annotated instances in 31,064 images. As a large-scale dataset with both RGB and thermal infrared (RGBT) images, the benchmark enables extensive evaluation and investigation of visual analysis algorithms on the drone platform. In particular, we design two popular tasks with the benchmark, including object detection and object counting. All these tasks are extremely challenging in the proposed dataset due to factors such as illumination, occlusion, and scale variations. We hope the benchmark largely boost the research and development in visual analysis on drone platforms. The DroneVehicle dataset can be download from this https URL.

연구 동기 및 목표

• 드론 기반 시각 분석을 위한 대규모 다중 모odal 데이터셋, 특히 RGB와 열화상 인프라레드 데이터를 융합한 데이터셋의 부족을 보완한다.
• 복잡한 도시 환경에서 객체 검출 및 수량 측정 알고리즘을 평가하기 위한 종합적인 벤치마크를 제공한다.
• 조명 변화, 가림, 크기 변화 등의 어려운 조건에서의 시각 분석 연구를 지원한다.
• 표준화된 풍부한 레이블이 부여된 데이터를 통해 드론 플랫폼에서 RGBT 기반 알고리즘의 체계적 평가와 발전을 가능하게 한다.
• 공개된 데이터셋을 통해 실제 드론 응용 분야에서의 강력한 시각 분석 시스템 개발을 촉진한다.

제안 방법

• 다양한 도시 환경에서 드론에 장착된 카메라를 통해 동기화된 RGB 및 열화상 인프라레드 이미지 쌍 15,532개를 수집한다.
• 각 이미지 쌍에 대해 방향성 있는 객체 바운딩 박스, 객체 카테고리, 세부적인 인스턴스 수준 레이블을 부여한다.
• 고속도도로, 주거 지역, 주차장 등 다양한 도시 환경과 주간/야간 조건을 포함하여 포괄적인 커버리지를 확보한다.
• 주로 두 가지 작업인 차량 검출 및 차량 수량 측정을 지원하도록 데이터셋을 구조화하고, 표준화된 평가 프로토콜을 적용한다.
• 고품질의 일관성 있는 레이블을 확보하기 위해 철저한 데이터 정제 과정을 적용한다.
• 연구의 재현성과 드론 기반 시각 분석 분야의 공동 발전을 촉진하기 위해 전체 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 현재의 RGBT 기반 알고리즘이 드론 촬영 영상에서 조명 변화와 가림 조건이 다양한 상황에서 차량 검출 및 수량 측정에 얼마나 효과적인가?
• RQ2 RGB-only 접근 방식에 비해 열화상 인프라레드 데이터를 포함시킬 경우 검출 및 수량 측정 성능이 얼마나 향상되는가?
• RQ3 크기 변화와 복잡한 도시 레이아웃은 드론 촬영 데이터에서 시각 분석 모델의 성능에 어떤 영향을 미치는가?
• RQ4 드론 플랫폼에 시각 분석 시스템을 구현할 때 발생하는 주요 과제는 무엇이며, DroneVehicle 벤치마크는 이러한 과제를 얼마나 잘 반영하고 있는가?
• RQ5 DroneVehicle 벤치마크는 차세대 드론 기반 시각 분석 모델의 훈련 및 평가를 위한 신뢰할 수 있고 확장 가능한 기반으로 기능할 수 있는가?

주요 결과

• DroneVehicle 벤치마크는 31,064장의 이미지와 441,642개의 레이블된 차량 인스턴스를 포함하여 드론 기반 시각 분석을 위한 가장 대규모의 공개된 RGBT 데이터셋 중 하나이다.
• 이 데이터셋은 다양한 도시 환경을 포함하고 있으며 주간 및 야간 영상도 포함하여 조명 변화와 장면의 복잡성에 큰 변화를 반영하고 있다.
• 열화상 인프라레드 데이터의 통합은 저시인성 및 고가림 상황에서 성능 향상을 가능하게 하며, 벤치마크 설계 시 이러한 조건을 고려한 바에 따라 이를 입증하고 있다.
• 벤치마크는 주로 두 가지 작업인 객체 검출 및 객체 수량 측정을 지원하며, 이 두 작업 모두 크기 변화와 가림으로 인해 심각하게 영향을 받는다.
• 이 데이터셋은 제공된 URL을 통해 공개되어 있어 연구 및 개발 분야에서의 광범위한 접근을 가능하게 한다.
• 벤치마크는 RGBT 시각 분석의 광범위한 평가와 혁신을 지원하도록 설계되었으며, 실제 드론 응용 분야에서의 진전을 가속화할 잠재력을 지닌다.