[논문 리뷰] Siamese Anchor Proposal Network for High-Speed Aerial Tracking

Changhong Fu, Ziang Cao외 3명|arXiv (Cornell University)|2020. 12. 19.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 4

한 줄 요약

이 논문은 고속 공중 추적을 위한 이중 단계 Siamese 네트워크인 SiamAPN을 제안한다. 이는 사전 지식이 없는 적응형 앵커를 생성하는 새로운 앵커 제안 네트워크(APN)를 사용하여 하이퍼파ram터를 감소시키고 소형, 부분 가림, 빠른 이동 물체에 대한 강건성을 향상시킨다. 이 방법은 세 가지 UAV 기준 데이터셋에서 최신 기술 수준의 성능을 달성하면서 약 200 FPS의 속도를 기록한다. 빠른 움직임과 저해상도와 같은 도전적인 상황에서도 SiamRPN++ 및 SiamFC++를 초월하는 정밀도와 AUC 성능을 보인다.

ABSTRACT

In the domain of visual tracking, most deep learning-based trackers highlight the accuracy but casting aside efficiency. Therefore, their real-world deployment on mobile platforms like the unmanned aerial vehicle (UAV) is impeded. In this work, a novel two-stage Siamese network-based method is proposed for aerial tracking, extit{i.e.}, stage-1 for high-quality anchor proposal generation, stage-2 for refining the anchor proposal. Different from anchor-based methods with numerous pre-defined fixed-sized anchors, our no-prior method can 1) increase the robustness and generalization to different objects with various sizes, especially to small, occluded, and fast-moving objects, under complex scenarios in light of the adaptive anchor generation, 2) make calculation feasible due to the substantial decrease of anchor numbers. In addition, compared to anchor-free methods, our framework has better performance owing to refinement at stage-2. Comprehensive experiments on three benchmarks have proven the superior performance of our approach, with a speed of around 200 frames/s.

연구 동기 및 목표

• 자원 제약이 있는 UAV 플랫폼을 위한 딥러닝 기반 공중 추적에서 효율성과 강건성의 상충 관계를 해결한다.
• 사전 정의된 앵커에 의존하는 앵커 기반 방법의 한계를 극복한다. 이러한 방법은 하이퍼파ram터에 민감하고 다양한 크기의 객체에 대해 어려움을 겪는다.
• 사전 가정 없이 적응형 앵커 생성을 도입함으로써 앵커 없는 방법에 비해 일반화 능력을 향상시키고 계산의 중복을 줄인다.
• 빠른 이동, 저해상도, 가림과 같은 UAV 전용 과제를 해결하기 위해 경량이고 효율적인 아키텍처를 설계하여 추적 성능을 향상시킨다.
• 표준 공중 추적 기준 데이터셋에서 높은 정확도를 유지하면서 실시간 추론 속도(약 200 FPS)를 달성한다.

제안 방법

• 이중 단계 Siamese 프레임워크를 제안한다: 1단계에서는 앵커 제안 네트워크(APN)를 사용하여 각 특징 맵 포인트당 하나의 적응형 앵커를 생성함으로써 고정된 앵커 사전 지식을 제거한다.
• APN은 종단 간(end-to-end)으로 적응형 앵커의 위치와 크기를 예측하도록 학습하여 다양한 크기의 객체에 대한 일반화 능력을 향상시키고, 앵커 수를 약 90% 감소시킨다.
• 적응형 앵커의 공간적 위치 정보를 특징 맵에 통합하기 위해 특징 융합 네트워크를 도입함으로써 의미 표현과 회귀 정확도를 향상시킨다.
• 다중 분류 구조를 활용하여 학습 중 음성 샘플의 불균형 문제를 줄이고 분류 능력을 향상시킨다.
• 과도한 앵커 제안을 최소화하고 경량 구성 요소로 특징 추출을 최적화하여 고속 추론을 가능하게 하도록 네트워크를 설계한다.
• 교차 엔트로피와 IoU 기반 손실 함수를 사용하여 분류 및 회귀 헤드를 함께 최적화함으로써 Siamese 기반 네트워크를 종단 간으로 학습시킨다.

실험 결과

연구 질문

• RQ1 적응형 앵커 생성을 갖춘 Siamese 네트워크는 공중 추적에서 실시간 추론 속도를 유지하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 고정된 앵커 사전 지식을 제거함으로써 소형, 부분 가림, 빠른 이동 물체에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 앵커 위치 정보의 특징 융합은 기존의 앵커 기반 또는 앵커 없는 방법에 비해 추적 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 표준 UAV 기준 데이터셋에서 정밀도, AUC, 속도 측면에서 최신 기술 수준의 추적기들을 초월할 수 있는가?
• RQ5 하이퍼파ram터와 앵커 수의 감소는 복잡한 공중 환경에서 일반화 능력 향상과 학습 안정성 향상에 기여하는가?

주요 결과

• SiamAPN는 약 200 FPS를 기록하여 모바일 및 UAV 플랫폼에 실시간 배포에 적합하다.
• UAV20L에서 SiamAPN는 정밀도 76.2%와 AUC 56.3%를 달성하여 두 번째로 우수한 추적기인 SiamRPN++보다 정밀도 2.5%p, AUC 0.6%p 높다.
• VisDrone2018-SOT-test에서 SiamAPN는 정밀도 81.4%와 AUC 58.4%를 기록하여 1위를 차지하며, UDT+(78.6%, 57.8%)와 SiamFC++(73.8%, 56.2%)를 모두 앞선다.
• UAV123@10fps에서 SiamAPN는 정밀도 75.2%와 성공률 56.6%를 기록하여 SiamRPN++보다 정밀도 2.3%p 향상되며 1위를 기록한다.
• 속성 기반 평가에서 SiamAPN는 빠른 이동 상황에서 SiamFC++ 대비 평균 3.9%p, 완전 가림 상황에서 4.0%p, 저해상도 상황에서 3.9%p AUC 향상을 보였다.
• 빠른 이동 상황에서 SiamRPN++ 대비 AUC 5.1%p 향상되었고, 완전 가림 상황에서 4.55%p 향상되어 UAV 전용 과제에 대한 우수한 강건성을 입증했다.