[논문 리뷰] Vision Meets Drones: Past, Present and Future

Pengfei Zhu, Longyin Wen외 4명|arXiv (Cornell University)|2020. 01. 16.

Video Surveillance and Tracking Methods참고 문헌 172인용 수 140

한 줄 요약

이 논문은 중국 14개 도시에서 촬영된 드론 영상으로 구성된 대규모이고 완전히 애너테이션 처리된 데이터셋인 VisDrone를 소개한다. 이 데이터셋은 이미지 검출, 영상 검출, 단일 객체 추적, 다중 객체 추적의 네 가지 트랙을 포함한다. 이는 드론 기반 시각 분석 알고리즘 평가 및 발전을 위한 벤치마크를 제공하며, 광범위한 평가와 향후 연구 방향을 통해 항공 영상 이해 분야의 연구를 크게 촉진한다.

ABSTRACT

Drones, or general UAVs, equipped with cameras have been fast deployed with a wide range of applications, including agriculture, aerial photography, and surveillance. Consequently, automatic understanding of visual data collected from drones becomes highly demanding, bringing computer vision and drones more and more closely. To promote and track the evelopments of object detection and tracking algorithms, we have organized two challenge workshops in conjunction with ECCV 2018, and ICCV 2019, attracting more than 100 teams around the world. We provide a large-scale drone captured dataset, VisDrone, which includes four tracks, i.e., (1) image object detection, (2) video object detection, (3) single object tracking, and (4) multi-object tracking. In this paper, we first presents a thorough review of object detection and tracking datasets and benchmarks, and discuss the challenges of collecting large-scale drone-based object detection and tracking datasets with fully manual annotations. After that, we describe our VisDrone dataset, which is captured over various urban/suburban areas of 14 different cities across China from North to South. Being the largest such dataset ever published, VisDrone enables extensive evaluation and investigation of visual analysis algorithms on the drone platform. We provide a detailed analysis of the current state of the field of large-scale object detection and tracking on drones, and conclude the challenge as well as propose future directions. We expect the benchmark largely boost the research and development in video analysis on drone platforms. All the datasets and experimental results can be downloaded from the website: this https URL.

연구 동기 및 목표

• 농업, 감시, 항공 촬영 등의 분야에서 드론으로 촬영한 데이터에 대한 자동 시각 이해의 증가하는 수요를 해결하기 위해.
• 일관된 품질과 다양성을 갖춘 대규모이고 완전히 애너테이션 처리된 드론 데이터셋을 수집하는 데서 발생하는 과제를 극복하기 위해.
• 포괄적인 데이터셋과 챌린지 워크숍을 통해 드론 플랫폼에서의 객체 검출 및 추적 알고리즘 평가를 위한 벤치마크를 수립하기 위해.
• ECCV 2018과 ICCV 2019에서 국제 챌린지 행사를 개최하여 연구 진전을 촉진하고 전 세계 100개 이상의 팀을 유치하기 위해.
• 세부 분석과 데이터 및 결과의 공개를 통해 향후 드론 기반 영상 분석 분야의 발전 기반을 마련하기 위해.

제안 방법

• VisDrone 데이터셋은 중국의 북부에서 남부까지 다양하게 분포한 14개 도시의 도시 및 근교 지역에서 수집되었으며, 지리적 및 환경적 다양성을 확보하기 위해 설계되었다.
• 이 데이터셋은 이미지 객체 검출, 영상 객체 검출, 단일 객체 추적, 다중 객체 추적의 네 가지 다른 트랙을 포함하며, 각각 완전한 수동 애너테이션 처리가 이루어졌다.
• 이 데이터셋은 시각 분석을 위한 가장 큰 공개 가능한 드론 기반 벤치마크이며, 알고리즘의 광범위한 평가를 지원한다.
• 저자들은 ECCV 2018과 ICCV 2019에서 VisDrone 데이터셋을 바탕으로 한 국제 챌린지 워크숍을 개최하여 알고리즘 성과를 평가하고 추적하였다.
• 모든 데이터와 결과는 전용 웹사이트를 통해 공개되어 열린 연구와 재현 가능성을 장려한다.
• 논문은 드론 기반 객체 검출 및 추적 분야의 기존 데이터셋과 벤치마크를 종합적으로 검토하며, 핵심적 한계점과 기회를 규명한다.

실험 결과

연구 질문

• RQ1 객체 검출 및 추적을 위한 대규모이고 완전히 애너테이션 처리된 드론 기반 데이터셋을 수집하는 데 있어 핵심 과제는 무엇인가요?
• RQ2 스케일, 다양성, 애너테이션 품질 측면에서 기존의 벤치마크와 비교해 볼 때 VisDrone 데이터셋은 어떻게 다릅니까?
• RQ3 드론 기반 객체 검출 및 추적 알고리즘의 현재 성능 한계와 성능 저하 요인은 무엇인가요?
• RQ4 VisDrone와 같은 대규모 벤치마크는 항공 영상 분석 분야의 진전을 어떻게 가속화할 수 있나요?
• RQ5 드론 플랫폼에서의 시각 분석을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가요?

주요 결과

• VisDrone는 중국 14개 다양한 도시에서 수집된 드론 촬영 데이터를 기반으로 한 가장 큰 공개 가능한 드론 기반 객체 검출 및 추적 데이터셋이다.
• 이 데이터셋은 이미지 검출, 영상 검출, 단일 객체 추적, 다중 객체 추적의 네 가지 별개의 작업을 지원하며, 각각 완전한 수동 애너테이션 처리가 이루어졌다.
• ECCV 2018과 ICCV 2019에서의 챌린지를 통해 국제적인 벤치마크가 실현되었으며, 전 세계 100개 이상의 팀이 참가했다.
• 저자들은 데이터 수집 과정에서 애너테이션 일관성, 스케일, 지역 간 환경 변동성 등의 심각한 과제를 규명했다.
• 논문은 VisDrone가 드론 기반 영상 분석 분야의 연구 발전을 위한 견고한 기반을 제공하며, 알고리즘 개발을 위한 향후 방향을 제안한다.
• 모든 데이터셋과 결과는 전용 웹사이트를 통해 공개되어 있으며, 분야 내 열린 과학과 재현 가능성을 촉진한다.