[논문 리뷰] Multi-modal Visual Tracking: Review and Experimental Comparison

Pengyu Zhang, Dong Wang외 1명|arXiv (Cornell University)|2020. 12. 08.

Video Surveillance and Tracking Methods참고 문헌 110인용 수 15

한 줄 요약

이 논문은 RGB-D 및 RGB-T 추적에 중점을 두고 다중 모odal 시각 추적 방법에 대한 종합적인 리뷰와 실험적 비교를 제시한다. 통합된 분류 체계를 도입하고, 다섯 개의 벤치마크 데이터셋에서 최신 29개의 추적기를 평가하며, 정확도 및 실시간 성능 향상을 위한 모델 설계 및 데이터셋 구축 분야에서의 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

Visual object tracking, as a fundamental task in computer vision, has drawn much attention in recent years. To extend trackers to a wider range of applications, researchers have introduced information from multiple modalities to handle specific scenes, which is a promising research prospect with emerging methods and benchmarks. To provide a thorough review of multi-modal track-ing, we summarize the multi-modal tracking algorithms, especially visible-depth (RGB-D) tracking and visible-thermal (RGB-T) tracking in a unified taxonomy from different aspects. Second, we provide a detailed description of the related benchmarks and challenges. Furthermore, we conduct extensive experiments to analyze the effectiveness of trackers on five datasets: PTB, VOT19-RGBD, GTOT, RGBT234, and VOT19-RGBT. Finally, we discuss various future directions from different perspectives, including model design and dataset construction for further research.

연구 동기 및 목표

• 보조 모odal리티, 추적 프레임워크, 데이터셋 등을 분석함으로써 RGB-D 및 RGB-T 추적에 특화된 통합된 분류 체계를 제공하기 위해.
• PTB, VOT19-RGBD, GTOT, RGBT234, VOT19-RGBT 등 다섯 개인 널리 사용되는 데이터셋에서 29개의 다중 모달 추적기(14개의 RGB-D 및 15개의 RGB-T)를 체계적이고 공정하게 평가하기 위해.
• 어려운 조건에서 정확도, 속도, 속성 기반 성능 측면에서 다양한 추적 프레임워크의 강점과 약점을 분석하기 위해.
• 모달리티 오차보정, 대규모 학습 데이터 부족, 결측 모달리티에 대한 충분한 강건성 평가 지표 부족 등의 핵심 과제를 규명하기 위해.
• 모델 설계(예: NAS, 지식 증류) 및 데이터셋 구축(예: 대규모 학습 세트, 사전 정렬, 강건성 평가) 분야에서의 향후 연구 방향을 제안하기 위해.

제안 방법

• 보조 모달리티, 추적 프레임워크, 데이터셋-메트릭 조합 기반으로 56개의 다중 모달 추적 방법을 분류하는 통합된 분류 체계를 제안한다.
• 표준 평가 프rotocol를 사용하여 다섯 개의 벤치마크 데이터셋에서 최신 29개의 RGB-D 및 RGB-T 추적기를 수집하고 평가한다.
• 정밀도, 성공률, 속도 등의 표준 메트릭을 활용하여 다양한 속성(예: 가림, 조명 변화)에 따른 추적기 성능을 정량적으로 비교한다.
• 장기적인 가림 및 저조도 조건과 같은 어려운 시나리오에서의 추적기 행동을 평가하기 위해 정성적 분석을 적용한다.
• 공간-시간 정렬과 공유된 시각 영역 자르기 기반의 데이터셋 구축 프레임워크를 도입하여 오차보정 문제를 줄인다.
• 깊이 및 열화상 데이터를 표준 CNN 아키텍처(예: VGGNet, ResNet)의 추가 입력 채널로 간주하는 딥 러닝 기반 융합 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 RGB-D 및 RGB-T 추적 방법는 통합된 분류 체계 하에서 어떻게系통적으로 분류되고 비교될 수 있는가?
• RQ2 다양한 추적 프레임워크(예: 상관 필터, 시아모이즈 네트워크, CNN 기반 모델)는 다중 모달 환경에서 어떤 상대적 강점과 약점을 지니는가?
• RQ3 표준 벤치마크에서 다양한 속성(예: 가림, 조도 변화, 운동 흐림)에 대해 추적기는 어떻게 성능을 발휘하는가?
• RQ4 특히 모달리티 오차보정과 학습 서브셋 부족 문제로 인해 기존 데이터셋의 핵심 한계는 무엇인가?
• RQ5 모델 설계 및 데이터셋 구축 분야에서의 향후 방향성은 무엇이며, 다중 모달 추적의 강건성과 실시간 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• 저조도 및 가림 조건에서 열화상 모달리티의 조명 변화에 대한 내성적 저항력 덕분에 RGB-T 추적기가 일반적으로 RGB-D 추적기보다 뛰어난 성능을 보인다.
• 깊이 및 열화상 데이터를 표준 CNN 아키텍처의 추가 입력 채널로 간주하는 딥 러닝 기반 융합 방법은 높은 정확도를 달성하지만, 계산 비용이 증가하는 단점이 있다.
• 모달리티 오차보정은 추적기 성능에 심각한 영향을 미치며, RGBT234에서와 같이 굵은 경계 상자로 인해 배경 노이즈를 학습하는 경우가 명백히 드러난다.
• 기존의 벤치마크는 학습 서브셋을 포함하지 않아, 일반적으로 작은 또는 합성 데이터를 사전 학습에 사용하는 딥 러닝 기반 추적기의 잠재력을 제한한다.
• 현재의 어떤 벤치마크도 결측 모달리티 조건 하에서의 강건성 평가를 명시적으로 포함하지 않아, 성능 평가에서 중요한 격차가 존재함을 시사한다.
• 지식 증류 및 레이어 선택(예: Huang 등 [127])과 같은 속도 최적화 방법은 정확도 손실 없이 최대 100배의 속도 향상을 달성할 수 있어, 실시간 구현 가능성에 큰 잠재력을 지닌다.