[논문 리뷰] RGBD Object Tracking: An In-depth Review

Jinyu Yang, Zhe Li외 5명|arXiv (Cornell University)|2022. 03. 26.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

이 논문은 RGBD 객체 추적에 대한 종합적인 리뷰를 제공하며, 융합 전략, 깊이 사용 방식, 추적 프레임워크를 18개의 대표적 추적기에서 분석한다. 깊이 품질 영향, 목표물이 사라진 상황에서의 장기 성능, 입력 왜곡에 대한 강건성 등 새로운 평가를 도입하여 깊이 유리한 상황과未해결 과제를 밝혀내며 향후 연구에 통찰을 제공한다.

ABSTRACT

RGBD object tracking is gaining momentum in computer vision research thanks to the development of depth sensors. Although numerous RGBD trackers have been proposed with promising performance, an in-depth review for comprehensive understanding of this area is lacking. In this paper, we firstly review RGBD object trackers from different perspectives, including RGBD fusion, depth usage, and tracking framework. Then, we summarize the existing datasets and the evaluation metrics. We benchmark a representative set of RGBD trackers, and give detailed analyses based on their performances. Particularly, we are the first to provide depth quality evaluation and analysis of tracking results in depth-friendly scenarios in RGBD tracking. For long-term settings in most RGBD tracking videos, we give an analysis of trackers' performance on handling target disappearance. To enable better understanding of RGBD trackers, we propose robustness evaluation against input perturbations. Finally, we summarize the challenges and provide open directions for this community. All resources are publicly available at https://github.com/memoryunreal/RGBD-tracking-review.

연구 동기 및 목표

• 깊이 사용 방식, 융합 전략, 추적 프레임워크를 기반으로 RGBD 객체 추적 방법에 대한 체계적인 분류 체계를 제공하기 위해.
• 하이브리드 데이터셋을 사용하여 18개의 대표적 RGBD 추적기를 평가하여 다양한 상황에서의 성능을 평가하기 위해.
• 특히 깊이 유리한 조건에서 깊이 데이터 품질이 추적 성능에 미치는 영향을 조사하기 위해.
• 목표물이 사라졌다가 다시 나타나는 상황에서의 장기 추적 설정에서 추적기 행동을 분석하기 위해.
• 이전에 탐색되지 않은 영역인 공간적 및 시간적 입력 왜곡에 대한 RGBD 추적기의 강건성을 평가하기 위해.

제안 방법

• 깊이 사용 방식(예: 외관 대비 기하학적 특징), 융합 메커니즘(예: 조기, 후기, 또는 학습된 융합), 추적 프레임워크(예: 상관 필터, 시아모이즈 네트워크)를 기반으로 다면적 분류 체계를 제안한다.
• 다양한 벤치마크에서 공개된 시퀀스를 조합하여 공정하고 종합적인 평가를 가능하게 하는 하이브리드 RGBD 데이터셋을 구축한다.
• 통일된 평가 프로토콜을 사용하여 표준 지표와 새로운 테스트를 통해 18개의 최신 RGBD 추적기를 평가한다.
• 깊이 유리한 상황에서 깊이 맵의 정밀도와 추적 정확도 간 상관관계를 분석하여 깊이 품질 평가를 도입한다.
• 속성 기반 및 시간적 강건성 테스트를 통해 목표물이 가려진 후 재등장하는 동안의 성능을 측정하여 장기 추적 분석을 수행한다.
• 제어된 공간적 및 시간적 왜곡을 입력 RGB 및 깊이 스트림에 적용하고 성능 저하 정도를 측정하여 강건성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 깊이 정보는 객체 추적에 어떻게 구체적으로 기여하며, 어떤 상황에서 가장 효과적인가?
• RQ2 실세계 조건에서 깊이 맵의 품질은 RGBD 추적기 성능에 어떻게 영향을 미치는가?
• RQ3 RGBD 추적기는 목표물이 사라지고 재획득하는 장기 추적 과제를 어떻게 다루는가?
• RQ4 공간적 및 시간적 노이즈를 포함한 입력 왜곡에 대해 현재의 RGBD 추적 모델은 얼마나 강건한가?
• RQ5 RGBD 추적을 발전시키기 위해 현재의 데이터셋, 평가 프로토콜, 모델 설계에서의 주요 한계는 무엇인가?

주요 결과

• 깊이 품질은 추적 성능에 크게 영향을 미치며, 낮은 품질의 깊이 맵은 특히 복잡하거나 혼잡한 환경에서 실패율을 높인다.
• 추적기는 깊이가 유리한 상황—예를 들어 명확한 깊이 불연속성 또는 안정적인 깊이 기울기를 가진 환경—에서 더 뛰어난 성능을 보이며, 이는 깊이 정보가 가려짐 추론에 기여함을 확인한다.
• 장기 추적 성능은 목표물이 사라지는 동안 뚜렷하게 저하되며, 대부분의 추적기가 장시간 가려진 후에도 목표물을 재획득하지 못함을 보여주며 이는 핵심적인 한계를 드러낸다.
• 딥 RGBD 추적기는 입력 왜곡에 매우 민감하며, 작은 공간적 또는 시간적 노이즈만으로도 성능 저하가 심각하게 발생함을 보여주며, 이는 낮은 강건성을 시사한다.
• 현재 평가 프로토콜은 표준화되어 있지 않으며, 지표가 데이터셋 간에 다양하게 적용되며 장기 행동이나 강건성을 포괄하지 못함을 보여주며, 통합된 벤치마크가 필요하다.
• 모델 효율성은 여전히 중요한 문제이며, 대부분의 RGBD 추적기가 실시간 요구 조건을 충족하지 못하며, 실세계 적용을 위해 경량 아키텍처가 필요하다.