[논문 리뷰] Detection and Tracking Meet Drones Challenge

Pengfei Zhu, Longyin Wen외 5명|arXiv (Cornell University)|2020. 01. 16.

Video Surveillance and Tracking Methods참고 문헌 149인용 수 14

한 줄 요약

이 논문은 드론 기반 영상 분석을 위한 대규모로 완전히 애너테이션 처리된 벤치마크 데이터셋인 VisDrone를 소개한다. 이 데이터셋은 4개의 트랙(이미지 검출, 영상 검출, 단일 객체 추적, 다중 객체 추적)을 포함하여 총 263개의 영상 클립과 179,264帧을 포함한다. 이 데이터셋은 시점 및 크기 변화, 운동 흐림, 소형 객체 검출 등의 실제 드론 환경 도전 과제 하에서 객체 검출 및 추적 알고리즘의 종합적 평가를 가능하게 하여 항공 시각 시스템 분야의 연구를 크게 발전시킨다.

ABSTRACT

Drones, or general UAVs, equipped with cameras have been fast deployed with a wide range of applications, including agriculture, aerial photography, and surveillance. Consequently, automatic understanding of visual data collected from drones becomes highly demanding, bringing computer vision and drones more and more closely. To promote and track the developments of object detection and tracking algorithms, we have organized three challenge workshops in conjunction with ECCV 2018, ICCV 2019 and ECCV 2020, attracting more than 100 teams around the world. We provide a large-scale drone captured dataset, VisDrone, which includes four tracks, i.e., (1) image object detection, (2) video object detection, (3) single object tracking, and (4) multi-object tracking. In this paper, we first present a thorough review of object detection and tracking datasets and benchmarks, and discuss the challenges of collecting large-scale drone-based object detection and tracking datasets with fully manual annotations. After that, we describe our VisDrone dataset, which is captured over various urban/suburban areas of 14 different cities across China from North to South. Being the largest such dataset ever published, VisDrone enables extensive evaluation and investigation of visual analysis algorithms for the drone platform. We provide a detailed analysis of the current state of the field of large-scale object detection and tracking on drones, and conclude the challenge as well as propose future directions. We expect the benchmark largely boost the research and development in video analysis on drone platforms. All the datasets and experimental results can be downloaded from https://github.com/VisDrone/VisDrone-Dataset.

연구 동기 및 목표

• 드론 기반 영상 분석을 위한 대규모로 완전히 애너테이션 처리된 데이터셋의 부족 문제를 해결하여, 객체 검출 및 추적 분야의 진전을 가로막는 요소를 제거하고자 한다.
• ECCV 2018, ICCV 2019, ECCV 2020에서 국제 도전 대회를 조직하여 드론 시각 분야의 최첨단 알고리즘 평가 및 육성에 기여하고자 한다.
• 14개의 중국 도시에서 촬영된 다양한 도시 및 근교 환경을 포함하는 종합적인 벤치마크를 제공하여, 시점 변화, 크기 변화, 운동 흐림 등의 실제 도전 과제를 반영하고자 한다.
• 소형 객체 검출 및 음영 또는 흐림 상태에서의 추적과 같은 현실적인 조건 하에서 검출 및 추적 모델의 성능을 평가하고자 한다.
• 운동 모델링, 효율성 제약, 소형 객체 표현과 같은 아직 해결되지 않은 문제들을 규명하여 향후 연구를 이끌고자 한다.

제안 방법

• VisDrone 데이터셋은 중국 전역의 14개 도시에서 수집되었으며, 다양한 고도와 조명 조건을 고려한 도시 및 근교 환경을 포함한다.
• 데이터셋은 이미지 검출, 영상 검출, 단일 객체 추적, 다중 객체 추적의 4개 트랙으로 구성되며, 각 트랙은 사전 정의된 평가 프로토콜을 갖춘다.
• 모든 애너테이션은 수작업으로 바운딩 박스와 인스턴스 ID를 사용하여 생성되어, 모든 프레임 간에 고도의 일관성과 품질을 확보한다.
• 도전 대회 프레임워크는 검출에 대해 mAP, 추적에 대해 MOTA 등의 표준 지표를 사용하며, 정확도와 내성 모두를 평가한다.
• 이 벤치마크는 검출 및 추적 모델의 종단 간 평가를 지원하며, 시공간적 맥락을 활용하는 통합 프레임워크까지 포함한다.
• 데이터셋은 GitHub를 통해 공개되어 있어 재현 가능성과 드론 시각 연구 분야의 공동체적 발전을 가능하게 한다.

실험 결과

연구 질문

• RQ1 극도로 변화하는 시점과 크기 변화가 있는 대규모 실생활 드론 촬영 영상 시퀀스에서 기존의 객체 검출 및 추적 알고리즘이 어떻게 성능을 내는가?
• RQ2 항공 영상에서 운동 흐림, 소형 객체 검출, 음영 처리와 같은 상황에서 현재 모델의 핵심 실패 원인은 무엇인가?
• RQ3 드론 영상에서 시공간적 맥락을 활용함으로써 검출 및 추적의 통합 프레임워크가 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 자원 제약이 있는 드론 플랫폼에 배포하기 위해 모델의 효율성과 정확성의 균형을 어떻게 맞출 수 있는가?
• RQ5 자동화된 신경망 아키텍처 탐색(AutoNAS)이 드론 기반 시각 시스템을 위한 효율적이고 정확한 모델 설계에 어떤 역할을 할 수 있는가?

주요 결과

• VisDrone 데이터셋은 현재까지 공개된 바 있는 가장 대규모의 드론 기반 벤치마크로, 263개의 영상 클립과 179,264개의 애너테이션 프레임을 포함하며, 중국 14개 도시의 다양한 도시 및 근교 환경을 반영한다.
• 도전 대회에는 전 세계적으로 100개 이상의 연구 팀이 참가하여 드론 시각 알고리즘 분야의 높은 공동체 관심과 활발한 개발을 보여주었다.
• 현재 최첨단 모델들 역시 소형 객체, 운동 흐림, 시점 변화 문제를 여전히 해결하기 어려워 향후 개선 여지가 크다는 것을 시사한다.
• 검출 및 추적의 통합 프레임워크는 시간적 일관성을 활용함으로써 성능 향상 잠재력을 보이며, 특히 외관 대비가 낮은 상황에서 두드러진다.
• 엣지 장치에 적합한 효율적인 모델 아키텍처가 절실하게 필요하며, 자동 아키텍처 탐색(AutoNAS)이 향후 핵심 방향으로 부상하고 있다.
• 데이터셋은 ID 교환, 거짓 양성, 궤적 분할 등의 실패 케이스를 상세히 분석할 수 있게 하여 현재 추적 시스템의 한계를 드러낸다.