[논문 리뷰] The 2nd Anti-UAV Workshop & Challenge: Methods and Results

Jian Zhao, Gang Wang외 10명|arXiv (Cornell University)|2021. 08. 23.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 9

한 줄 요약

이 논문은 280개의 HD 영상 시퀀스를 포함한 대규모 열화상 데이터셋을 소개하는 제2회 항드로파일러 드론 도전 대회를 제안한다. 이 데이터셋은 동적인 조건에서 다중 척도(대형, 소형, 미니어처) 드론을 포함한다. 24개의 글로벌 팀이 제출한 추적 방법을 평가하였으며, 최상위 방법들은 시아모이드 네트워크, 다중 추적기 융합, 운동 강화 옵티컬 플로우를 조합하여 복잡한 시나리오에서 정확도를 향상시켰다. 테스트-디브 세트에서 최고의 추적 정확도는 0.6444를 기록하였다.

ABSTRACT

The 2nd Anti-UAV Workshop \& Challenge aims to encourage research in developing novel and accurate methods for multi-scale object tracking. The Anti-UAV dataset used for the Anti-UAV Challenge has been publicly released. There are two subsets in the dataset, $i.e.$, the test-dev subset and test-challenge subset. Both subsets consist of 140 thermal infrared video sequences, spanning multiple occurrences of multi-scale UAVs. Around 24 participating teams from the globe competed in the 2nd Anti-UAV Challenge. In this paper, we provide a brief summary of the 2nd Anti-UAV Workshop \& Challenge including brief introductions to the top three methods.The submission leaderboard will be reopened for researchers that are interested in the Anti-UAV challenge. The benchmark dataset and other information can be found at: https://anti-uav.github.io/.

연구 동기 및 목표

• 열화상 영상에서 복잡하고 동적인 환경에서 소형 및 고속 이동 드론을 탐지하고 추적하는 과제를 해결한다.
• 드론 추적 및 객체 탐지 연구를 지원하기 위해 대규모 고품질 기준 데이터셋을 제공한다.
• 가림, 혼잡함, 다양한 조명 조건에서 잘 작동하는 강력하고 일반화 가능한 추적 알고리즘의 개발을 촉진한다.
• 실제 응용에 중점을 두어 학계와 산업 간 협력을 촉진한다.
• 적외선 영상 기반으로 장기적이고 다중 척도의 객체 추적 기술을 선진화한다.

제안 방법

• 공간-시간 주의 메커니즘을 갖춘 시아모이드 네트워크 기반 추적기(SiamSTA)를 제안하여 열화상 영상에서 특징 표현과 추적의 강건성을 향상시켰다.
• LTMU와 AlphaRef를 사용한 다중 추적기 투표 및 융합 전략을 도입하여 장기 추적의 안정성과 정확도를 향상시켰다.
• 배경 노이즈에서 운동 패턴을 분리함으로써 소형 드론을 탐지하기 위해 옵티컬 플로우 기반 운동 강화 기법을 통합하였다.
• 슬라이딩 윈도우 검색과 옵티컬 플로우를 사용한 재탐지 모듈을 적용하여 실패 후에 잃어버린 타겟을 복구하였다.
• 신뢰도 기반 검증 및 재탐지 기능을 갖춘 다중 척도 추적 프레임워크에서 SuperDiMP, TransT, SiamRPN++를 융합하였다.
• 예측 결과를 다중 추적기에서 집계하고 프레임당 최고 신뢰도 결과를 선택하기 위해 IoU 기반 클러스터링 알고리즘을 사용하였다.

실험 결과

연구 질문

• RQ1 깊이 학습 모델은 외관 정보가 제한된 열화상 영상에서 다중 척도 드론을 어떻게 추적할 수 있는가?
• RQ2 다중 추적기 융합 및 운동 강화 기법이 혼잡한 환경에서 추적 정확도에 미치는 영향은 무엇인가?
• RQ3 탐지 헤드를 사용하지 않고도 사전 학습된 RGB 추적기 모델을 적응하여 적외선 기반 드론 추적에 효과적으로 활용할 수 있는가?
• RQ4 옵티컬 플로우 기반 운동 활성화 기법은 배경 노이즈에서 소형 고속 이동 드론을 얼마나 효과적으로 구분할 수 있는가?
• RQ5 장기 추적 아키텍처(LTMU 등)는 가림 및 외관 변화가 발생하는 미니어처 드론의 추적 강건성 향상에 어떤 역할을 하는가?

주요 결과

• 최고 성능을 기록한 방법인 'huangbo940326'는 테스트-디브 서브셋에서 추적 정확도 0.6444를 달성하여 기준 방법보다 뚜렷하게 뛰어났다.
• 다중 추적기 투표 및 융합 전략을 운동 강화와 조합함으로써 정확도가 64.0에서 68.7로 향상되어 강력한 강건성을 입증하였다.
• 옵티컬 플로우 및 배경 제거를 통한 운동 강화로 인해 기준 대비 소형 드론 탐지 민감도가 4.7%p 향상되었다.
• SuperDiMP 프레임워크에 LTMU와 AlphaRef를 통합함으로써 정확도가 60.6에서 64.0으로 향상되어 장기 추적에서의 효과성을 입증하였다.
• JNU 추적기의 재탐지 모듈이 타겟을 실수로 상실한 후 복구함으로써 정확도를 64.0에서 67.9로 향상시켰다.
• 절단 분석 결과, 다중 백본 네트워크(SuperDiMP, TransT, SiamRPN++)의 다중 척도 검색 및 융합 전략이 단일 모델 기준 방법보다 성능 향상에 기여함을 확인하였다.