[논문 리뷰] Tracking Revisited using RGBD Camera: Baseline and Benchmark

Shuran Song, Jianxiong Xiao|arXiv (Cornell University)|2012. 12. 12.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 9

한 줄 요약

이 논문은 100개의 영상으로 구성된 다양한 RGBD 추적 벤치마크를 소개하고, 깊이 데이터를 활용하여 추적의 강건성을 크게 향상시키는 단순하면서도 효과적인 베이스라인 알고리즘을 제안한다. RGB 특징, 옵티컬 플로우, 깊이 기반의 막힘 모델링을 통합함으로써, 변형, 막힘, 모델 드프트와 같은 도전적인 조건에서도 최신 RGB 추적기들보다 뛰어난 성능을 보인다.

ABSTRACT

Although there has been significant progress in the past decade,tracking is still a very challenging computer vision task, due to problems such as occlusion and model drift.Recently, the increased popularity of depth sensors e.g. Microsoft Kinect has made it easy to obtain depth data at low cost.This may be a game changer for tracking, since depth information can be used to prevent model drift and handle occlusion.In this paper, we construct a benchmark dataset of 100 RGBD videos with high diversity, including deformable objects, various occlusion conditions and moving cameras. We propose a very simple but strong baseline model for RGBD tracking, and present a quantitative comparison of several state-of-the-art tracking algorithms.Experimental results show that including depth information and reasoning about occlusion significantly improves tracking performance. The datasets, evaluation details, source code for the baseline algorithm, and instructions for submitting new models will be made available online after acceptance.

연구 동기 및 목표

• 실제이고 다양한 조건에서 RGBD 추적 알고리즘을 평가하기 위한 표준화된 벤치마크를 구축하기 위해.
• 깊이 정보를 활용하여 시각 추적에서 지속적인 과제인 모델 드프트와 막힘 문제를 해결하기 위해.
• 기존의 RGB 전용 최신 기법들보다 뛰어난 성능을 보이는 단순하면서도 강력한 RGBD 추적 베이스라인을 제공하기 위해.
• 대규모이고 다양한 데이터셋과 정답 애너테이션을 공개함으로써 추적 알고리즘 간의 공정하고 정량적인 비교를 가능하게 하기 위해.
• 수락 후 데이터셋, 평가 서버, 베이스라인 코드를 모두 공개함으로써 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 변형 가능한 물체, 움직이는 카메라, 다양한 막힘 시나리오를 포함한 100개의 고다양성 RGBD 영상으로 구성된 벤치마크 데이터셋을 구축한다.
• HOG 특징, 선형 SVM 분류, 옵티컬 플로우, 깊이 기반 신뢰도 모델링을 통합한 베이스라인 추적 알고리즘을 제안한다.
• 대상의 깊이 히스토그램에서 추정한 1차원 가우시안 깊이 분포를 사용해 깊이 일관성을 모델링하고, 막는 물체를 탐지한다.
• 2차원 신뢰도 맵(분류기와 옵티컬 플로우에서 유도)을 대상의 깊이 분포로 임계값 설정하여 3차원 신뢰도 맵을 구성함으로써 정위치 정확도를 향상시킨다.
• 대상의 깊이와 현著히 다른 깊이 값을 가진 요소를 막는 물체로 식별하고, 막힘 영역의 추적 반응을 억제한다.
• 대상이 신뢰도 있게 탐지되는 영역에서만 온라인 모델 업데이트를 수행함으로써 모델 드프트를 감소시킨다.

실험 결과

연구 질문

• RQ1 RGB-only 방법과 비교했을 때 깊이 정보는 추적 성능을 얼마나 향상시키는가?
• RQ2 막힘과 모델 드프트를 다루기 위해 깊이 정보를 효과적으로 활용하는 단순하면서도 강력한 RGBD 추적 베이스라인은 무엇인가?
• RQ3 최신의 RGB 추적 알고리즘들이 동일한 RGBD 벤치마크에서 평가되었을 때 성능은 어떠한가?
• RQ4 특히 부분적 또는 점진적인 막힘의 경우, 깊이 데이터가 막힘을 신뢰성 있게 탐지하고 보완할 수 있는가?
• RQ5 깊이 정보는 목표의 변형이나 외관 변화로 인한 모델 드프트를 어느 정도 완화하는가?

주요 결과

• 제안된 RGBD 베이스라인은 최신 RGB 추적기들보다 뚜렷이 뛰어나며, 모든 평가 지표에서 높은 정확도를 달성한다.
• 목표의 회전이나 변형이 발생하는 영상(예: '스터프드 베어', '농구 선수' 시퀀스)에서는 RGB 추적기들이 모델 드프트로 인해 추적에 실패하는 동안 RGBD 추적기는 추적을 유지한다.
• 부분적 막힘 상황(예: '사람의 얼굴' 영상)에서는 RGB-only 방법보다 RGBD 추적기가 더 높은 신뢰도를 유지하고 거짓 긍정을 줄였다.
• 완전한 막힘 상황(예: '사인' 영상)에서는 RGBD 추적기가 깊이 정보를 활용해 막는 물체를 식별하고 주변 영역에 집중함으로써 추적을 유지한 반면, RGB 추적기들은 목표를 상실했다.
• 점진적인 막힘 상황(예: '가방을 지닌 학생')에서는 RGBD 추적기가 막는 물체를 정확히 식별하고, 막힌 물체로 인한 모델 업데이트 오염을 방지했다.
• 정량적 결과로 볼 때, RGBD 베이스라인은 20픽셀 이내 오차로 10개의 프레임 중 7개를 정확히 추적하는 34.2%의 성공률를 기록했으며, 이는 RGB-only 방법인 TLD(6.90%)와 Semi-B(26.1%)보다 뚜렷이 뛰어나다.