[논문 리뷰] Visual Object Tracking on Multi-modal RGB-D Videos: A Review

Xue‐Feng Zhu, Tianyang Xu외 1명|arXiv (Cornell University)|2022. 01. 23.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 리뷰는 다중 모odal한 RGB-D 영상에서 시각적 객체 추적에 대해 종합적인 분석을 제공하며, 기존의 기준 데이터셋, 성능 평가 지표, 추적 알고리즘을 요약한다. 깊이 정보가 차폐 및 장기 추적에서 강건성을 향상시킨다는 점을 강조하며, 주요 기여로는 체계적인 데이터셋 특성 분석, 방법 분류, 그리고 다중 모달 특징 융합 및 RGB-D 추적에서의 자기지도 학습 향상을 위한 향후 연구 방향을 제시한다.

ABSTRACT

The development of visual object tracking has continued for decades. Recent years, as the wide accessibility of the low-cost RGBD sensors, the task of visual object tracking on RGB-D videos has drawn much attention. Compared to conventional RGB-only tracking, the RGB-D videos can provide more information that facilitates objecting tracking in some complicated scenarios. The goal of this review is to summarize the relative knowledge of the research filed of RGB-D tracking. To be specific, we will generalize the related RGB-D tracking benchmarking datasets as well as the corresponding performance measurements. Besides, the existing RGB-D tracking methods are summarized in the paper. Moreover, we discuss the possible future direction in the field of RGB-D tracking.

연구 동기 및 목표

• 기존의 RGB-D 추적 기준 데이터셋과 그 성능 평가 지표를 체계적으로 요약하기 위해.
• 깊이 정보 사용 및 추적 메커니즘에 따라 최신의 RGB-D 추적 알고리즘을 분류하고 분석하기 위해.
• 현재의 RGB-D 추적 방법에서의 한계, 특히 특징 융합 및 모odal 불균형 문제를 규명하기 위해.
• 자기지도 학습 및 3D 포인트 클라우드 통합을 포함한 향후 연구 방향을 제안하여 강건성과 성능을 향상시키기 위해.

제안 방법

• RGB-D 추적 방법을 세 그룹으로 분류: (1) 깊이 기반의 장애물 감지 기능을 갖춘 단기 RGB 추적기의 변형, (2) 3D 포인트 클라우드 처리를 통한 평균 이동법과 같은 전통적 추적기의 확장, (3) 합성 RGB-D 데이터를 사용해 오프라인으로 훈련된 엔드 투 엔드 모델.
• 장애물 감지 및 재검출을 위한 깊이 세그멘테이션을 통합한 분별성 상관 필터(DCF)의 적용.
• 공간적 및 외관 정보를 유지하는 방식으로 RGB와 깊이 특징을 계층적 또는 다층적으로 융합하는 히에라르키컬 다중 모달 특징 융합의 구현.
• 장기 추적에서 3D 타겟 재구성을 통해 시간에 따른 외관 변화를 모델링.
• 기존 RGB 추적 데이터셋에서 합성 RGB-D 영상을 생성하기 위해 자기지도 학습 기반의 데이터 증강 기법을 활용해 딥 네트워크 훈련을 위한 데이터 확보.
• RGB-D 데이터에서 유도된 3D 포인트 클라우드 처리 방법을 통합해 3D 공간 인식 능력과 추적 안정성을 향상.

실험 결과

연구 질문

• RQ1 기존의 RGB-D 추적 데이터셋은 영상 콘텐츠, 주석 정보, 추적 난이도 측면에서 어떻게 상이한가?
• RQ2 시각적 추적에서 RGB와 깊이 모달 간 융합하기 위한 가장 효과적인 전략은 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 깊이 정보를 통합할 경우, 장애물 발생 및 장기 추적 환경에서 추적 강건성이 얼마나 향상되는가?
• RQ4 딥 RGB-D 추적기 훈련에서의 주요 과제는 무엇이며, 자기지도 학습 또는 데이터 증강 기법은 자료 부족 문제를 어떻게 완화할 수 있는가?
• RQ5 RGB-D 데이터에서 유도된 3D 포인트 클라우드 표현은 단지 2D 깊이 맵을 사용할 때보다 추적 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• 200개의 영상, 총 294,600프레임을 포함한 DepthTrack 데이터셋은 장기 추적 평가를 지원하는 가장 큰 가용 RGB-D 추적 기준 데이터셋이다.
• 단일 카메라 기반 깊이 예측을 통해 합성 RGB-D 데이터를 생성한 엔드 투 엔드 오프라인 훈련 기반 RGB-D 추적기, 예를 들어 DeT는 합성 데이터를 활용해 최신 기술 성능을 달성한다.
• 재검출 모듈을 갖춘 장기 추적 메커니즘은 CDTB 및 DepthTrack 등의 데이터셋에서 타겟이 사라졌다가 다시 나타나는 상황에서도 성능 향상에 기여한다.
• 계층적 또는 적응형 방법을 통해 RGB와 깊이 특징을 융합할 경우, 장애물 감지에 깊이 정보만 사용하는 것보다 더 높은 추적 정확도와 강건성을 확보할 수 있다.
• RGB-D 데이터에서 유도된 3D 포인트 클라우드 활용은 복잡한 장애물 상황을 더 효과적으로 처리하고 추적에서의 공간 인식 능력을 향상시킨다.
• 진전이 있었음에도 불구하고, 대부분의 RGB-D 추적기는 다중 모달 정보의 잠재력을 충분히 활용하지 못하며, 특히 특징 학습 및 대칭적 융합 측면에서 더 고도화된 융합 아키텍처가 필요하다는 점을 시사한다.