[논문 리뷰] Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation.

Changhong Fu, Bowen Li외 3명|arXiv (Cornell University)|2020. 10. 13.

Video Surveillance and Tracking Methods인용 수 13

한 줄 요약

이 논문은 드론 기반 공중 시각 추적을 위한 20종의 최신 기술 기반 분류 상관관계 필터(DCF)-기반 트래커에 대해 종합적으로 검토하고 실험적으로 평가한다. 연구는 DCF 프레임워크를 일반화하고, UAV123, UAV123_10fps, UAV20L, UAVDT, DTB70, VisDrone2019-SOT의 6개 주요 UAV 벤치마크에서 성능을 평가하며, 진동과 계산 자원 제약 등 실제 드론 환경 조건에서 DCF 트래커의 타당성, 강건성 및 현재의 한계를 입증한다.

ABSTRACT

Aerial tracking, which has exhibited its omnipresent dedication and splendid performance, is one of the most active applications in the remote sensing field. Especially, unmanned aerial vehicle (UAV)-based remote sensing system, equipped with a visual tracking approach, has been widely used in aviation, navigation, agriculture, transportation, and public security, etc. As is mentioned above, the UAV-based aerial tracking platform has been gradually developed from research to practical application stage, reaching one of the main aerial remote sensing technologies in the future. However, due to real-world challenging situations, the vibration of the UAV's mechanical structure (especially under strong wind conditions), and limited computation resources, accuracy, robustness, and high efficiency are all crucial for the onboard tracking methods. Recently, the discriminative correlation filter (DCF)-based trackers have stood out for their high computational efficiency and appealing robustness on a single CPU, and have flourished in the UAV visual tracking community. In this work, the basic framework of the DCF-based trackers is firstly generalized, based on which, 20 state-of-the-art DCF-based trackers are orderly summarized according to their innovations for soloving various issues. Besides, exhaustive and quantitative experiments have been extended on various prevailing UAV tracking benchmarks, i.e., UAV123, UAV123_10fps, UAV20L, UAVDT, DTB70, and VisDrone2019-SOT, which contain 371,625 frames in total. The experiments show the performance, verify the feasibility, and demonstrate the current challenges of DCF-based trackers onboard UAV tracking. Finally, comprehensive conclusions on open challenges and directions for future research is presented.

연구 동기 및 목표

• 드론 시각 추적을 위한 20종의 최신 DCF 기반 트래커를 체계적으로 검토하고 분류하는 것.
• 기계적 진동과 제한된 계산 자원 등 실제 드론 환경 조건에서 DCF 기반 트래커의 성능을 평가하는 것.
• 드론 기반 공중 추적 응용 분야에서 DCF 기반 트래커의 핵심 과제와 한계를 규명하는 것.
• 미래 연구를 안내하기 위해 다수의 표준 드론 추적 데이터셋을 기반으로 종합적인 벤치마크 분석을 제공하는 것.

제안 방법

• 논문은 20종의 최신 기술 기반 방법을 체계적인 비교와 분류가 가능하도록 분류 상관관계 필터(DCF) 기반 트래커의 핵심 프레임워크를 일반화한다.
• UAV123, UAV123_10fps, UAV20L, UAVDT, DTB70, VisDrone2019-SOT의 6개 광범위하게 사용되는 드론 추적 벤치마크에서 철저하고 정량적인 실험을 수행하며, 총 371,625 프레임을 포함한다.
• 평가 초점은 추적 정확도, 강건성, 계산 효율성으로, 특히 강한 바람으로 인한 진동과 낮은 프레임 레이트와 같은 도전적인 조건에서의 성능에 중점을 둔다.
• 각 트래커의 혁신 요소, 예를 들어 커널 설계, 특징 표현, 정규화 기법 등을 분석하여 성능에 미치는 영향을 이해한다.
• 정밀도와 성공률 등의 성능 지표를 모든 벤치마크에서 계산하고 비교하여 트래커의 효과성을 평가한다.
• 추적 결과의 정성적 및 정량적 분석을 통해 공통적인 실패 유형과 성능 저하 요인을 규명한다.

실험 결과

연구 질문

• RQ1 실제 드론 환경 조건에서 다양한 드론 추적 벤치마크에서 DCF 기반 트래커는 어떻게 성능을 발휘하는가?
• RQ2 최신 기술 기반 DCF 트래커에서 강건성과 효율성을 향상시키는 주요 설계 혁신은 무엇인가?
• RQ3 자원 제약이 있는 드론 플랫폼에 배치했을 때 DCF 기반 트래커의 주요 한계는 무엇인가?
• RQ4 기계적 진동과 낮은 프레임 레이트 등의 요소가 DCF 기반 트래커의 성능에 어떤 영향을 미치는가?
• RQ5 DCF 기반 드론 추적 분야의 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• DCF 기반 트래커는 단일 CPU에서 높은 계산 효율성과 강력한 강건성을 확보하여 차량 내부 장착에 적합하다.
• 6개 벤치마크에서의 평가 결과, DCF 기반 트래커는 특히 중간 수준의 외란 조건에서 속도와 안정성 측면에서 경쟁력 있는 성능을 유지함을 확인하였다.
• 강력한 성능에도 불구하고, DCF 트래커는 큰 체적 변화, 심한 가림, 강한 바람 조건에서의 빠른 운동 처리에 여전히 도전 과제를 안고 있다.
• 연구는 특징 표현과 커널 설계가 트래커 강건성에 영향을 미치는 핵심 요소임을 규명하였으며, 일부 고급 방법이 정밀도와 성공률 측면에서 뚜렷한 향상을 보임을 확인하였다.
• 벤치마크를 통한 정량적 결과 분석에 따르면, 최고 성능를 보인 DCF 트래커는 UAV123와 UAV20L에서 평균 성공률 0.70 이상, VisDrone2019-SOT에서는 정밀도 점수 0.65 초과를 기록하였다.
• 분석 결과, 저프레임 레이트 환경(예: 10fps)에서 지속적인 성능 저하가 발생함을 확인하였으며, 이는 향후 DCF 기반 설계에서 시간적 모델링 개선이 필요함을 시사한다.