[논문 리뷰] Towards Robust Visual Tracking for Unmanned Aerial Vehicle with Tri-Attentional Correlation Filters

Yujie He, Changhong Fu외 3명|arXiv (Cornell University)|2020. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 4

한 줄 요약

이 논문은 관련성 필터 프레임워크에 맥락, 차원, 시공간 주의 메커니즘을 통합하여 강건한 UAV 시각 추적을 위한 삼중 주의 관련성 필터(TACF) 추적기를 제안한다. 이 방법은 부분적 가림과 혼잡한 배경에 대비한 분류 능력을 향상시키면서도 약 28 FPS에서 실시간 성능을 유지하며, 기준 KCC 추적기 대비 UAVDT 및 UAV123@10fps 벤치마크에서 각각 4.8%와 8.2%의 상대적 성공률 향상을 달성한다.

ABSTRACT

Object tracking has been broadly applied in unmanned aerial vehicle (UAV) tasks in recent years. However, existing algorithms still face difficulties such as partial occlusion, clutter background, and other challenging visual factors. Inspired by the cutting-edge attention mechanisms, a novel object tracking framework is proposed to leverage multi-level visual attention. Three primary attention, i.e., contextual attention, dimensional attention, and spatiotemporal attention, are integrated into the training and detection stages of correlation filter-based tracking pipeline. Therefore, the proposed tracker is equipped with robust discriminative power against challenging factors while maintaining high operational efficiency in UAV scenarios. Quantitative and qualitative experiments on two well-known benchmarks with 173 challenging UAV video sequences demonstrate the effectiveness of the proposed framework. The proposed tracking algorithm favorably outperforms 12 state-of-the-art methods, yielding 4.8% relative gain in UAVDT and 8.2% relative gain in UAV123@10fps against the baseline tracker while operating at the speed of $\sim$ 28 frames per second.

연구 동기 및 목표

• 관련성 필터 기반 추적기의 한계, 특히 부분적 가림과 배경 혼잡 상황에서의 성능을 개선하기 위해.
• 관련성 필터 학습 및 검출 파이프라인에 다중 수준 시각 주의를 통합하여 분류 능력을 향상시키기 위해.
• 강건한 시각 조건에 대비하여 실시간 성능를 유지하면서도 UAV 내장 시스템에 적합한 성능를 확보하기 위해.
• 맥락, 차원, 시공간 정보를 통합하여 반응 맵 품질을 향상시키는 통합 주의 프레임워크를 개발하기 위해.

제안 방법

• 학습 중 맥락 패치에 동적 페널티 요소를 할당하는 맥락 주의 모듈을 도입하여 환경 인식 능력과 객체 분류 능력을 향상시킨다.
• 반응 맵 내 정보성 있는 특징 차원에 초점을 맞추기 위해 차원 주의를 적용하여 덜 관련 있는 특징을 억제함으로써 노이즈 영향을 줄인다.
• 연속 프레임 간 시간적 일관성을 활용하여 반응 맵을 향상시키기 위해 시공간 주의를 적용하여 정밀도를 향상시킨다.
• 맥락, 차원, 시공간 주의를 모두 융합하여 종단 간 추적을 위한 통합된 삼중 주의 관련성 필터(TACF) 프레임워크를 구축한다.
• 계산 효율성을 유지하기 위해 푸리에 도메인 연산을 활용하여 단일 CPU에서 약 28 FPS로 실시간 추론을 가능하게 한다.
• 차원 주의 모듈에서 학습 가능한 활성화 임계값 βt를 활용하며, UAVDT에서 최고 성능를 얻기 위해 0.1로 최적화된다.

Figure 1: Comparison between baseline KCC tracker [ 4 ] and the proposed TACF tracker. In UAV tracking, TACF incorporates the contextual information into the filter training stage, so that the attentional filters can sense the varying appearance of the object and environment simultaneously. After th

실험 결과

연구 질문

• RQ1 관련성 필터에 다중 수준 주의 메커니즘을 통합하면 UAV 추적에서 부분적 가림에 대비한 강건성이 향상되는가?
• RQ2 맥락 주의는 과도한 노이즈를 유발하지 않으면서 환경적 맥락을 통합하여 필터 학습을 어떻게 향상시키는가?
• RQ3 차원 주의와 시공간 주의는 복잡한 UAV 환경에서 반응 맵 품질과 추적 정확도에 얼마나 기여하는가?
• RQ4 제안된 삼중 주의 프레임워크는 정확도와 강건성 면에서 최첨단 추적기들을 뛰어넘으면서도 실시간 성능를 유지할 수 있는가?

주요 결과

• TACF 추적기는 기준 KCC 추적기 대비 UAVDT 벤치마크에서 성공률이 4.8% 상승했다.
• UAV123@10fps 벤치마크에서 TACF는 기준 추적기 대비 성공률이 8.2% 향상되었으며, 성공률는 0.456를 기록했다.
• 제거 실험을 통해 각 주의 모듈(CA, DA, SA)이 독립적으로 성능 향상에 기여하며, 전체 TACF 모델이 UAVDT에서 최고 성능인 0.437의 성공률를 기록했다.
• 프레임당 평균 처리 시간은 35.59ms(28.1 FPS)로, 추가된 주의 모듈에도 불구하고 실시간 실행 가능성을 입증했다.
• 차원 주의의 최적 활성화 임계값 βt는 0.1로 확인되었으며, 이는 UAVDT에서 최고 성능를 낳는다.
• TACF 추적기는 두 개의 주요 UAV 벤치마크에서 12종의 최첨단 추적기들을 모두 압도하며 정확도와 강건성 면에서 뛰어난 성능를 보였다.

Figure 2: The main workflow of the TACF tracker. The object and context patches near the object are first extracted and represented as training samples. Then, the contextual attention strategy is implemented to realize adaptive learning of the surrounding environment throughout the online tracking p