[논문 리뷰] EAGLE: Large-scale Vehicle Detection Dataset inReal-World Scenarios using Aerial Imagery

Seyed Majid Azimi, Reza Bahmanyar외 2명|arXiv (Cornell University)|2020. 07. 12.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

EAGLE는 기상, 조명, 가림, 카메라 각도 등 다양한 조건에서 다중 클래스 차량 검출을 가능하게 하는 4점 경계상자와 방향 레이블을 사용해 표시된 215,986개의 방향 조정된 차량 인스턴스를 포함한 대규모 실생활 항공 영상 데이터셋이다. 수평, 회전, 방향 조정된 경계상자 검출을 지원하는 3가지 작업을 통해 항공 객체 검출 분야의 새로운 벤치마크를 설정하며, 최신 기술 모델의 광범위한 평가를 통해 최첨단 베이스라인을 제공한다.

ABSTRACT

Multi-class vehicle detection from airborne imagery with orientation estimation is an important task in the near and remote vision domains with applications in traffic monitoring and disaster management. In the last decade, we have witnessed significant progress in object detection in ground imagery, but it is still in its infancy in airborne imagery, mostly due to the scarcity of diverse and large-scale datasets. Despite being a useful tool for different applications, current airborne datasets only partially reflect the challenges of real-world scenarios. To address this issue, we introduce EAGLE (oriEnted vehicle detection using Aerial imaGery in real-worLd scEnarios), a large-scale dataset for multi-class vehicle detection with object orientation information in aerial imagery. It features high-resolution aerial images composed of different real-world situations with a wide variety of camera sensor, resolution, flight altitude, weather, illumination, haze, shadow, time, city, country, occlusion, and camera angle. The annotation was done by airborne imagery experts with small- and large-vehicle classes. EAGLE contains 215,986 instances annotated with oriented bounding boxes defined by four points and orientation, making it by far the largest dataset to date in this task. It also supports researches on the haze and shadow removal as well as super-resolution and in-painting applications. We define three tasks: detection by (1) horizontal bounding boxes, (2) rotated bounding boxes, and (3) oriented bounding boxes. We carried out several experiments to evaluate several state-of-the-art methods in object detection on our dataset to form a baseline. Experiments show that the EAGLE dataset accurately reflects real-world situations and correspondingly challenging applications.

연구 동기 및 목표

• 방향 추정 기능을 갖춘 다중 클래스 차량 검출을 위한 대규모, 다양한, 현실적인 항공 영상 데이터셋의 부족을 보완한다.
• 안개, 그림자, 다양한 비행 고도, 센서 유형 등 실제 도전 과제를 반영하지 못하는 기존 데이터셋의 한계를 극복한다.
• 고해상도 항공 영상과 함께 현실적인 조건에서 최첨단 객체 검출 모델 평가를 위한 종합적인 벤치마크를 제공한다.
• 다양하고 풍부한 레이블 덕분에 히어로 제거, 초해상도, 이미지 보정 등의 관련 작업 연구를 가능하게 한다.
• 수평, 회전, 방향 조정된 경계상자 검출의 3가지 검출 작업을 위한 표준화된 평가 프로토콜을 수립한다.

제안 방법

• 다양한 도시, 국가, 비행 고도, 기상 조건, 조명 수준에서 고해상도 항공 영상을 수집한다.
• 비행 영상 전문가를 활용해 4개의 모서리 점과 방향 각도로 정의된 방향 조정된 경계상자로 215,986개의 차량 인스턴스를 레이블링한다.
• 세 가지 별도의 검출 작업을 설계한다: (1) 수평 경계상자, (2) 회전 경계상자, (3) 방향 조정된 경계상자로 모델의 강인성 평가를 수행한다.
• 카메라 센서 유형, 해상도, 일출/일몰 시간, 가림, 안개, 그림자 수준 등의 다양성을 확보하여 데이터셋의 다양성을 높인다.
• 히어로 제거, 초해상도, 이미지 보정 작업에 적합한 데이터를 포함하여 후속 응용을 지원한다.
• EAGLE 데이터셋에서 최신 기술 객체 검출 모델을 훈련 및 평가하여 성능 기준선을 확립한다.

실험 결과

연구 질문

• RQ1 EAGLE 데이터셋은 기상, 조명, 가림 등의 실제 항공 검출 과제를 어느 정도 반영하고 있는가?
• RQ2 최신 기술 객체 검출 모델은 다양한 실제 조건에서 항공 영상의 방향 조정된 차량 검출에 대해 어떻게 성능을 내는가?
• RQ3 항공 차량 검출에서 수평 또는 회전 경계상자 대비 방향 조정된 경계상자를 사용할 경우 성능 향상은 어느 정도 달성되는가?
• RQ4 EAGLE 데이터셋은 히어로 제거 및 초해상도 연구 등 항공 영상 이해 분야의 발전을 위한 신뢰할 수 있는 벤치마크로 활용될 수 있는가?
• RQ5 비행 고도, 센서 유형, 환경 조건의 변화가 항공 영상의 검출 정확도에 어떤 영향을 미치는가?

주요 결과

• EAGLE 데이터셋은 방향 조정된 경계상자와 방향 레이블이 표시된 215,986개의 차량 인스턴스를 포함하여 항공 차량 검출 분야에서 가장 큰 규모의 데이터셋이다.
• EAGLE에서의 실험 결과, 이 데이터셋으로 훈련된 모델은 안개, 그림자, 가림 등 다양한 실제 조건에서 뛰어난 강인성을 확보함을 입증했다.
• 방향 조정된 경계상자를 사용할 경우, 특히 길고 좁은 차량이 있는 상황에서 수평 및 회전 경계상자 기반 모델 대비 뚜렷한 성능 향상이 이루어졌다.
• 최신 기술 객체 검출 모델은 데이터셋 내 실제 조건의 변화에 의해 측정 가능한 성능 저하를 보이며, 이는 데이터셋의 난이도와 현실성을 확인한다.
• 고해상도와 다양한 레이블 덕분에 히어로 제거, 초해상도, 이미지 보정 등 검출 외의 고급 연구를 지원한다.
• 정의된 세 가지 작업(수평, 회전, 방향 조정된)에 대한 베이스라인 결과는 항공 객체 검출 분야의 향후 방법 개발에 강력한 기초 자료를 제공한다.