[논문 리뷰] Vision Meets Drones: A Challenge

Pengfei Zhu, Longyin Wen외 3명|arXiv (Cornell University)|2018. 04. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 331

한 줄 요약

VisDrone2018은 14개 중국 도시에서 수집된 179,264 프레임에 걸쳐 250만 개의 주석 인스턴스를 포함하는 대규모 드론 기반 비주얼 객체 탐지 및 추적 벤치마크를 제시하며, 네 가지 작업(이미지/비디오 탐지, 단일 객체 추적 및 다중 객체 추적)을 다룹니다.

ABSTRACT

In this paper we present a large-scale visual object detection and tracking benchmark, named VisDrone2018, aiming at advancing visual understanding tasks on the drone platform. The images and video sequences in the benchmark were captured over various urban/suburban areas of 14 different cities across China from north to south. Specifically, VisDrone2018 consists of 263 video clips and 10,209 images (no overlap with video clips) with rich annotations, including object bounding boxes, object categories, occlusion, truncation ratios, etc. With intensive amount of effort, our benchmark has more than 2.5 million annotated instances in 179,264 images/video frames. Being the largest such dataset ever published, the benchmark enables extensive evaluation and investigation of visual analysis algorithms on the drone platform. In particular, we design four popular tasks with the benchmark, including object detection in images, object detection in videos, single object tracking, and multi-object tracking. All these tasks are extremely challenging in the proposed dataset due to factors such as occlusion, large scale and pose variation, and fast motion. We hope the benchmark largely boost the research and development in visual analysis on drone platforms.

연구 동기 및 목표

• 드론 플랫폼에서 시각 이해 과제를 동기 부여하고 촉진하기 위한 대규모 벤치마크.
• 탐지 및 추적 알고리즘을 스트레스 테스트하기 위해 네 가지 핵심 작업에 대해 풍부하고 다양한 주석을 제공한다.
• 도시 및 드론 시나리오 전반에 걸친 강력한 평가를 가능하게 하는 데이터세트 통계를 제시한다.
• 항공 영상에서 가림, 스케일 변화 및 빠른 움직임에 강인한 알고리즘 개발을 독려한다.

제안 방법

• 드론 촬영 장면에서 263개의 비디오 클립(179,264 프레임)과 10,209장의 정지 이미지를 모은다.
• 10개 카테고리의 2.5백만 개가 넘는 객체 인스턴스를 주석으로 달고 가림/절단 비율 등의 속성을 제공한다.
• 네 가지 작업을 정의한다: 이미지 기반 객체 탐지, 비디오 기반 객체 탐지, 단일 객체 추적, 다중 객체 추적.
• 훈련/검증용 정답을 공개하고 오버피팅을 방지하기 위해 테스트 라벨은 보류하며, 외부 데이터의 선택적 사용을 허용한다.
• 작업 간 제출 및 벤치마킹을 위한 공개 평가 웹사이트를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 시점, 규모 및 가림에서 촬영된 드론 이미지에서 최신 탐지 및 추적 알고리즘의 성능은 얼마나 우수한가?
• RQ2 항공 드론 데이터에 적용될 때 기존 방법의 도전 과제와 한계는 무엇이며 벤치마크가 개선 방향을 어떻게 안내할 수 있는가?
• RQ3 단일화된 드론 중심 벤치마크가 항공 환경에서 탐지와 추적 작업 모두의 발전을 이끌 수 있는가?
• RQ4 데이터세트 속성(가림, 절단, 시점 변화)이 네 가지 정의된 작업 전반의 성능에 어떤 영향을 미치는가?

주요 결과

• VisDrone2018은 당시 가장 큰 드론 중심 벤치마크로, 263개의 비디오 클립, 179,264 프레임, 10,209장의 이미지를 포함한다.
• 데이터세트는 드론 응용에 관련된 10개 카테고리에 걸쳐 2.5백만 개가 넘는 주석된 객체 인스턴스를 포함한다.
• 네 가지 작업이 확립된다: 이미지에서의 객체 탐지, 비디오에서의 객체 탐지, 단일 객체 추적, 다중 객체 추적.
• 훈련/검증용 정답이 제공되고 테스트 정답은 과적합을 피하기 위해 보류되며 벤치마크를 위한 평가 웹사이트가 있다.
• 벤치마크는 드론 영상에서 가림, 큰 규모 변화, 자세 변화 및 빠른 움직임과 같은 도전적 조건을 강조한다.