[논문 리뷰] Anti-UAV: A Large Multi-Modal Benchmark for UAV Tracking

Nan Jiang, Kuiran Wang외 8명|arXiv (Cornell University)|2021. 01. 21.

Video Surveillance and Tracking Methods참고 문헌 94인용 수 68

한 줄 요약

이 논문은 318개의 RGB-T 영상 쌍과 580k개가 넘는 바운딩 박스를 갖춘 대규모 RGB-T UAV 추적 벤치마크인 Anti-UAV와 다중 모달 데이터에서 UAV 추적 성능을 향상시키는 Dual-Flow Semantic Consistency(DFSC) 학습 전략을 소개합니다.

ABSTRACT

Unmanned Aerial Vehicle (UAV) offers lots of applications in both commerce and recreation. With this, monitoring the operation status of UAVs is crucially important. In this work, we consider the task of tracking UAVs, providing rich information such as location and trajectory. To facilitate research on this topic, we propose a dataset, Anti-UAV, with more than 300 video pairs containing over 580k manually annotated bounding boxes. The releasing of such a large-scale dataset could be a useful initial step in research of tracking UAVs. Furthermore, the advancement of addressing research challenges in Anti-UAV can help the design of anti-UAV systems, leading to better surveillance of UAVs. Besides, a novel approach named dual-flow semantic consistency (DFSC) is proposed for UAV tracking. Modulated by the semantic flow across video sequences, the tracker learns more robust class-level semantic information and obtains more discriminative instance-level features. Experimental results demonstrate that Anti-UAV is very challenging, and the proposed method can effectively improve the tracker's performance. The Anti-UAV benchmark and the code of the proposed approach will be publicly available at https://github.com/ucas-vg/Anti-UAV.

연구 동기 및 목표

• 장거리 UAV 추적 연구를 위해 짝지어져 비정렬된 시퀀스를 포함하는 대규모 다중 모달 UAV 추적 데이터셋을 소개한다.
• 다중 모달 및 교차 시퀀스 시나리오에서 UAV 추적을 평가하기 위한 포괄적 베이스라인과 평가 프로토콜을 제공한다.
• DFSC(dual-flow semantic consistency)를 제안하여 UAV 추적을 위한 강건한 클래스-레벨 및 인스턴스-레벨 특징을 학습한다.
• 데이터셋 속성, 도전적 시나리오 및 UAV 상태 인식을 위한 평가 지표에 관한 통찰을 제공한다.

제안 방법

• 318개의 RGB-T 비디오 쌍 UAV 추적 벤치마크를 구성하고 580k개 이상 수작업 주석 바운딩 박스와 다양한 장면을 확보한다.
• dual-flow semantic consistency (DFSC) 학습: 시퀀스 간의 클래스-레벨 시맨틱 모듈레이션(CSM) 및 시퀀스 내의 인스턴스-레벨 시맨틱 모듈레이션(ISM)을 제안한다.
• CSM에서 교차 시퀀스 UAV 특징으로 검색 영역 제안을 조정하고, ISM에서 현재 시퀀스 ROI 특징으로 조정한다.
• 분류 및 회귀를 위한 모듈화된 특징을 결합하기 위해 쿼리 가이드 RPN과 이후 RCNN 단계 사용
• RGB 및 IR 데이터에 대한 GlobalTrack 및 Faster RCNN의 적응을 포함한 프로토콜별 학습 설정 및 베이스라인을 제공한다.

실험 결과

연구 질문

• RQ1 비정렬 시퀀스를 가진 대규모 다중 모달 UAV 추적 벤치마크(RGB-T)에서 현재 추적기가 얼마나 잘 수행하는가?
• RQ2 한 종류의 물체 카테고리만 존재할 때도 교차 시퀀스 시맨틱 모듈레이션이 클래스-레벨 구분을 향상시키는가?
• RQ3 시퀀스 내에서 인스턴스-레벨 시맨틱 모듈레이션이 유사한 UAV 인스턴스 및 방해물들 간의 구분을 향상시키는가?
• RQ4 정렬되지 않은 RGB-T 쌍을 포함한 다중 모달 데이터가 UAV 추적 성능 및 평가에 미치는 영향은 무엇인가?
• RQ5 Anti-UAV에서 UAV 추적 역량을 가장 잘 드러내는 학습 전략과 평가 프로토콜은 무엇인가?

주요 결과

• Anti-UAV는 분석을 위한 318 RGB-T 영상 쌍과 580k개가 넘는 바운딩 박스 및 다수의 속성을 제공한다.
• DFSC는 시퀀스 간 및 시퀀스 내 시맨틱 모듈레이션을 모두 활용하여 Anti-UAV에서 베이스라인보다 추적 성능을 크게 향상시킨다.
• 실험은 추적기의 성능이 속성에 따라 크게 달라짐을 보여주며, 데이터셋이 UAV 추적에 얼마나 도전적인지 강조한다.
• 평가 프로토콜 I–III는 가시 영상/IR 데이터, 학습 데이터 사용, 다중 모달 통합(비정렬 RGB-T 쌍 포함)을 통해 평가를 가능하게 한다.
• RF 기반 및 심층 추적기는 서로 다른 이득을 보이며, DFSC는 벤치마크에서 여러 최첨단 추적기와 비교해 주목할 만한 개선을 달성한다.