[논문 리뷰] SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking

Ziang Cao, Changhong Fu외 3명|arXiv (Cornell University)|2021. 06. 16.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

SiamAPN++는 자기 및 상호 주의 메커니즘을 갖춘 주의 집합 네트워크(AAN)를 사용하여 특징 표현을 향상시키고, 이중 특징을 활용한 앵커 제안 네트워크를 통해 척도 변화에 대한 강건성을 향상시켜 UAV를 위한 실시간 시アン세 추적기를 제안한다. 이는 UAV 벤치마크에서 최신 기술 성능을 달성하며 임베디드 플랫폼에서 34.9 FPS의 실시간 추론을 유지한다.

ABSTRACT

Recently, the Siamese-based method has stood out from multitudinous tracking methods owing to its state-of-the-art (SOTA) performance. Nevertheless, due to various special challenges in UAV tracking, extit{e.g.}, severe occlusion and fast motion, most existing Siamese-based trackers hardly combine superior performance with high efficiency. To this concern, in this paper, a novel attentional Siamese tracker (SiamAPN++) is proposed for real-time UAV tracking. By virtue of the attention mechanism, we conduct a special attentional aggregation network (AAN) consisting of self-AAN and cross-AAN for raising the representation ability of features eventually. The former AAN aggregates and models the self-semantic interdependencies of the single feature map via spatial and channel dimensions. The latter aims to aggregate the cross-interdependencies of two different semantic features including the location information of anchors. In addition, the anchor proposal network based on dual features is proposed to raise its robustness of tracking objects with various scales. Experiments on two well-known authoritative benchmarks are conducted, where SiamAPN++ outperforms its baseline SiamAPN and other SOTA trackers. Besides, real-world tests onboard a typical embedded platform demonstrate that SiamAPN++ achieves promising tracking results with real-time speed.

연구 동기 및 목표

• 심한 음영, 빠른 운동, 척도 변화 상황에서 높은 정확도와 실시간 효율성 간의 균형을 맞추는 데 도전한다.
• 특징 맵 간의 자기 및 상호 의미적 상호의존성을 모델링하여 시안세 추적기의 특징 표현을 향상시킨다.
• 이중 특징 기반 앵커 제안 네트워크(APN-DF)를 통해 다중 척도 객체에 대한 앵커의 강건성을 향상시킨다.
• 실제 UAV 배포를 위한 임베디드 플랫폼에서 추적기의 성능과 실시간 실행 가능성 검증을 목적으로 한다.

제안 방법

• 단일 특징 맵 내의 공간적 및 채널별 상호의존성을 모델링하는 자기 주의 메커니즘(self-AAN)을 도입하여 국소적 의미 표현을 향상시킨다.
• 두 개의 다른 특징 맵 간의 상호의존성을 적응적으로 집계하는 교차 주의 메커니즘(cross-AAN)을 제안하여 상호 특징 정렬 및 맥락 이해도를 향상시킨다.
• 다양한 네트워크 레벨의 특징을 활용하여 보다 강력하고 척도에 강인한 앵커를 생성하는 이중 특징 기반 앵커 제안 네트워크(APN-DF)를 적용한다.
• 학습 가능한 파rameter $w_1$를 사용한 가중 분류 브랜치를 활용하여 앵커 기반 분류와 특징 표현 학습 간 균형을 맞춘다.
• 특징 융합 및 주의 게이팅을 적용하여 관련 특징을 선별적으로 강조하고 노이즈 및 간섭을 억제한다.
• 공유 가중치를 갖는 시안세 쌍통로 아키텍처를 사용하여 템플릿 및 검색 브랜치의 특징 추출을 수행한 후, 주의 강화 특징 융합을 수행한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 음영 및 빠른 운동 상황에서 UAV 추적을 위한 시안세 추적기의 특징 표현을 향상시키는 데 기여하는가?
• RQ2 특징 맵 간의 교차 주의가 표준 시안세 특징 융합 대비 추적 강건성을 어떻게 향상시키는가?
• RQ3 앵커 제안 네트워크에서 이중 특징을 사용할 경우 척도 변화가 심한 및 과제가 큰 UAV 추적 시퀀스에서 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 AAN 및 APN-DF 구성 요소가 정확도 향상과 함께 임베디드 플랫폼에서 실시간 추론 속도를 유지할 수 있는가?
• RQ5 분류 헤드에서 앵커 분류와 특징 기반 학습 간 최적의 균형은 무엇인가?

주요 결과

• 기본 모델인 SiamAPN 대비 카메라 운동(CM) 속성에서 AUC 점수 5.0% 향상.
• 전면 음영(FOC) 시나리오에서 두 번째로 우수한 추적기 대비 정밀도 5.5% 향상, AUC 16.2% 향상.
• 임베디드 플랫폼에서 평균 34.9 FPS의 실시간 성능 유지를 통해 강력한 실용적 타당성을 입증.
• 제거 실험 결과 APN-DF 및 AAN 구성 요소 모두 추적 정확도 향상에 기여하며, 특히 척도 변화 상황에서 뚜렷한 성과 기록.
• 최적의 분류 가중치 $w_1 = 1.2$가 AUC 및 정밀도를 최대화하여 앵커 및 특징 기반 분류의 균형 잡힌 융합을 시사.
• 정성적 결과는 SiamAPN++가 저해상도, 심한 음영, 빠른 운동을 효과적으로 처리하며 장기 추적 안정성을 유지함을 보여준다.