[논문 리뷰] A Survey for Deep RGBT Tracking

Zhangyong Tang, Tianyang Xu외 1명|arXiv (Cornell University)|2022. 01. 23.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 종합 검토는 주로 RGBT210 및 LasHeR에서 DMCNet과 CMPP가 각각 최고 성능을 보였으며, 실시간 성능과 강인성을 향상시키기 위해 트랜스포머와 향상된 융합 메커니즘을 통합하는 엔드 투 엔드 아키텍처의 통합을 권장하는, 딥 RGBT 추적 방법에 대한 종합적인 개요를 제공한다.

ABSTRACT

Visual object tracking with the visible (RGB) and thermal infrared (TIR) electromagnetic waves, shorted in RGBT tracking, recently draws increasing attention in the tracking community. Considering the rapid development of deep learning, a survey for the recent deep neural network based RGBT trackers is presented in this paper. Firstly, we give brief introduction for the RGBT trackers concluded into this category. Then, a comparison among the existing RGBT trackers on several challenging benchmarks is given statistically. Specifically, MDNet and Siamese architectures are the two mainstream frameworks in the RGBT community, especially the former. Trackers based on MDNet achieve higher performance while Siamese-based trackers satisfy the real-time requirement. In summary, since the large-scale dataset LasHeR is published, the integration of end-to-end framework, e.g., Siamese and Transformer, should be further considered to fulfil the real-time as well as more robust performance. Furthermore, the mathematical meaning should be more considered during designing the network. This survey can be treated as a look-up-table for researchers who are concerned about RGBT tracking.

연구 동기 및 목표

• 최근의 딥 네트워크 기반 RGBT 트래커에 대한 체계적인 검토를 제공하기 위해.
• GTOT, RGBT210, RGBT234, LasHeR, VOT-RGBT2019/2020와 같은 주요 벤치마크에서 기존 RGBT 트래커의 성능을 비교하기 위해.
• 주요 아키텍처, 특히 MDNet과 시아모이즈 네트워크의 강점과 한계를 규명하기 위해.
• RGBT 추적에서 트랜스포머와 시간적 모델링의 잠재력 같은 아직 탐색되지 않은 연구 방향을 부각하기 위해.
• 수학적 엄밀성과 융합 메커니즘의 해석 부족 등 현재의 격차를 규명함으로써 향후 연구를 안내하기 위해.

제안 방법

• RGBT 트래커를 MDNet 기반, 시아모이즈 기반, 기타로 세 그룹으로 분류한다.
• 주의 메커니즘, 적응형 융합, 게이트드 네트워크 등을 포함한 다중 모odal 특징 통합에서 사용되는 융합 메커니즘을 검토하고 비교한다.
• GTOT, RGBT210, RGBT234, LasHeR, VOT-RGBT2019, VOT-RGBT2020의 여섯 개의 벤치마크에서 트래커를 평가한다.
• 정밀도(↑), 성공률(↑), 정확도(↑), 강인성(↑), EAO(↑)와 같은 표준 지표를 사용해 성능를 분석한다.
• DMCNet에서의 모odal 전용 어댑터, 품질 인식 융합, 상호 지도형 주의 메커니즘과 같은 아키텍처 혁신을 강조한다.
• 엔드 투 엔드 학습 프레임워크와 네트워크 설계의 더 깊은 이론적 기반 마련의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 RGBT 추적 분야에서 지배적인 딥 러닝 아키텍처는 무엇이며, 성능에서 어떻게 비교되는가?
• RQ2 MDNet 기반 트래커와 시아모이즈 기반 트래커는 정확도, 강인성, 실시간 처리 능력에서 어떻게 다를까?
• RQ3 RGBT210, LasHeR, VOT-RGBT2019/2020와 같은 주요 벤치마크에서 최고 성능을 보인 RGBT 트래커는 무엇인가?
• RQ4 현재 RGBT 추적 방법에서 트랜스포머와 엔드 투 엔드 학습 프레임워크의 통합이 왜 미흡하게 다뤄지고 있는가?
• RQ5 현재 융합 메커니즘의 주요 한계는 무엇이며, 수학 원리의 적용으로 어떻게 설계를 개선할 수 있는가?

주요 결과

• RGBT210 벤치마크에서 DMCNet은 정밀도(0.797)와 성공률(0.555)에서 최고 성능을 기록했다.
• RGBT234 데이터셋에서 DMCNet은 정밀도 0.839와 성공률 0.593로 선두를 유지했다.
• LasHeR 데이터셋에서 APFNet이 정밀도 0.905와 성공률 0.739로 최고 성능을 기록했다.
• VOT-RGBT2019에서 mfDiMP는 최고의 EAO 점수(0.3879)를 기록했고, DFAT은 VOT-RGBT2020 챌린지에서 승리했다.
• GTOT에서 CMPP는 정밀도 0.926로 최고 성능을 기록했고, 동일한 벤치마크에서 ADRNet이 성공률 0.739로 최고 성과를 냈다.
• 이 검토는 MDNet 기반 트래커가 더 높은 정확도를 달성하지만, 시아모이즈 기반 트래커가 실시간 요구 조건을 더 잘 충족시킨다고 규명했다.