[논문 리뷰] HiFT: Hierarchical Feature Transformer for Aerial Tracking

Ziang Cao, Changhong Fu외 3명|arXiv (Cornell University)|2021. 07. 31.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 11

한 줄 요약

HiFT는 항공 영상 객체 추적을 위한 계층적 특징 트랜스포머(HiFT)를 제안하며, 경량 트랜스포머를 통해 다중 수준의 컨볼루션 특징을 융합하여 분류 능력과 정밀도를 향상시킵니다. 얕은 층에서의 공간적 세부 정보와 깊은 층에서의 의미 정보를 통합함으로써, HiFT는 항공 기준 테스트에서 130 FPS로 최신 기술 수준의 성능을 달성하며, 더 깊은 백본을 사용하는 추적자들을 능가하면서도 임베디드 UAV 플랫폼에서 실시간 효율성을 유지합니다.

ABSTRACT

Most existing Siamese-based tracking methods execute the classification and regression of the target object based on the similarity maps. However, they either employ a single map from the last convolutional layer which degrades the localization accuracy in complex scenarios or separately use multiple maps for decision making, introducing intractable computations for aerial mobile platforms. Thus, in this work, we propose an efficient and effective hierarchical feature transformer (HiFT) for aerial tracking. Hierarchical similarity maps generated by multi-level convolutional layers are fed into the feature transformer to achieve the interactive fusion of spatial (shallow layers) and semantics cues (deep layers). Consequently, not only the global contextual information can be raised, facilitating the target search, but also our end-to-end architecture with the transformer can efficiently learn the interdependencies among multi-level features, thereby discovering a tracking-tailored feature space with strong discriminability. Comprehensive evaluations on four aerial benchmarks have proven the effectiveness of HiFT. Real-world tests on the aerial platform have strongly validated its practicability with a real-time speed. Our code is available at https://github.com/vision4robotics/HiFT.

연구 동기 및 목표

• 항공 추적에서 단일 특징 맵 또는 고비용의 다중 맵에 의존하는 시아모이스 추적자들의 한계를 해결하기 위해.
• 부정확한 추적, 낮은 해상도, 빠른 운동 등의 복잡한 항공 환경에서 정밀도를 향상시키기 위해 다중 수준 특징을 효과적으로 융합하기 위해.
• 자원 제약이 있는 UAV 플랫폼에서 실시간 추론 속도를 유지하면서도 효율적이고 종단 간 훈련이 가능한 아키텍처를 개발하기 위해.
• 새로운 특징 조절 레이어와 재정의된 분류 레이블을 통해 소형 객체의 특징 표현을 향상시키기 위해.
• 실제 UAV 배포 환경에서의 강인성과 효율성을 검증하기 위해.

제안 방법

• HiFT는 얕은 층(공간적 세부 정보 제공)과 깊은 층(의미 정보 제공)의 여러 컨볼루션 레이어에서 온 특징 맵을 입력으로 사용하는 계층적 특징 트랜스포머를 사용합니다.
• 트랜스포머는 다중 수준 특징 간의 상호의존성을 종단 간(end-to-end)으로 모델링하여, 분류 능력이 뛰어난 추적 전용 특징 공간을 학습합니다.
• 깊은 층의 저해상도 특징을 트랜스포머의 쿼리로 사용하며, 표준의 학습된 객체 쿼리 대신 일반화 능력을 향상시킵니다.
• 다중 수준 특징 간의 상호의존성을 향상시키기 위해 새로운 특징 조절 레이어를 도입하여 특히 소형 객체에서의 성능 향상을 달성합니다.
• 트랜스포머의 특징 학습을 더 잘 지도하기 위해 새로운 분류 레이블을 설계하여 분류 능력과 정밀도를 향상시킵니다.
• 전체 네트워크는 종단 간 훈련이 가능하여 특징 융합과 추적 헤드의 공동 최적화를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 시아모이스 네트워크에서 다중 수준 특징을 효과적으로 융합할 수 있는 계층적 특징 트랜스포머가 복잡한 항공 환경에서 추적 정확도를 향상시킬 수 있는가?
• RQ2 임베디드 UAV 플랫폼에 실시간 배포가 가능한 효율적인 트랜스포머 기반 아키텍처는 어떻게 설계할 수 있는가?
• RQ3 제안된 특징 조절 레이어와 분류 레이블이 항공 추적에서 소형 또는 가림을 입은 타깃에서 성능 향상을 이끌 수 있는가?
• RQ4 경량 HiFT 추적자가 더 깊은 백본을 가진 최신 기술 수준의 추적자들과 유사한 성능을 달성하면서도 실시간 추론 속도를 유지할 수 있는가?
• RQ5 실제 UAV 환경에서 시야 변화와 운동 블러 등의 실용적 과제에 대해 HiFT는 어떻게 성능을 발휘하는가?

주요 결과

• HiFT는 UAV20L에서 평균 정밀도 0.783, DTB70에서 0.763을 기록하여 더 깊은 백본을 가진 모든 최신 기술 수준의 추적자들을 능가합니다.
• 표준 기준 테스트에서 HiFT는 129.87 FPS로 작동하며, SiamRPN++(ResNet-50)과 같은 더 깊은 백본 추적자들(71.59 FPS)보다 뚜렷이 빠릅니다.
• UAV20L에서 HiFT는 두 번째로 좋은 추적자(SiamRPN++_ResNet-50)보다 정밀도(0.763 vs. 0.749)가 높으면서도 1.8배 빠릅니다.
• NVIDIA AGX Xavier에서의 실질적 UAV 테스트에서 HiFT는 TensorRT 없이도 평균 31.2 FPS를 유지하여 높은 실용성을 입증했습니다.
• 부분적 가림, 시야 변화, 낮은 해상도, 유사한 물체 간 간섭 등의 어려운 조건에서도 강인한 성능을 보였습니다.
• 절단 분석 결과, 특징 조절 레이어와 새로운 분류 레이블이 특히 소형 객체에서의 성능 향상에 크게 기여하는 것으로 확인되었습니다.