[논문 리뷰] Pan-tilt-zoom SLAM for Sports Videos

Jikai Lu, Jianhui Chen외 1명|arXiv (Cornell University)|2019. 07. 20.

Robotics and Sensor-Based Localization참고 문헌 43인용 수 7

한 줄 요약

이 논문은 레이 기반의 지표점 표현과 온라인 패닝-틸팅 랜덤 포레스트를 사용하여 고속으로 움직이는 스포츠 카메라를 위한 새로운 팬-틸트-줌(Pan-Tilt-Zoom, PTZ) SLAM 시스템을 제안한다. 두 지점 방법을 순차적 데이터로 확장하고, 플레이어 검출을 통합하여 전경 이상치를 억제함으로써, 동적 스포츠 영상에서 기존의 호모지어티 기반 기준 대비 더 높은 카메라 자세 추정 정확도와 추적 안정성을 달성한다.

ABSTRACT

We present an online SLAM system specifically designed to track pan-tilt-zoom (PTZ) cameras in highly dynamic sports such as basketball and soccer games. In these games, PTZ cameras rotate very fast and players cover large image areas. To overcome these challenges, we propose to use a novel camera model for tracking and to use rays as landmarks in mapping. Rays overcome the missing depth in pure-rotation cameras. We also develop an online pan-tilt forest for mapping and introduce moving objects (players) detection to mitigate negative impacts from foreground objects. We test our method on both synthetic and real datasets. The experimental results show the superior performance of our method over previous methods for online PTZ camera pose estimation.

연구 동기 및 목표

• 고속으로 움직이는 팬-틸트-줌(PTZ) 카메라의 추적 문제를 해결함으로써, 빠른 운동과 가림 현상으로 인해 전통적인 SLAM 성능이 저하되는 역동적인 스포츠 환경에서의 도전에 대응한다.
• 순수한 회전만을 하는 카메라에서 발생하는 깊이 모호성을 제거하기 위해 3차원 점 대신 레이를 지표점으로 도입함으로써 이를 해결한다.
• 실시간 플레이어 검출을 통합하여 움직이는 신체에 있는 키포인트를 걸러내어 움직이는 전경 물체(예: 플레이어)에 의한 영향에 대한 강건성을 향상시킨다.
• 확장된 두 지점 방법과 EKF 필터링을 사용한 온라인 카메라 자세 추정 및 온라인 패닝-틸팅 랜덤 포레스트를 통한 재정렬을 통해 실시간, 온라인 카메라 자세 추정을 가능하게 한다.
• 합성 및 실제 스포츠 영상 데이터셋에서 호모지어티 기반 및 EKF-H 방법에 비해 뛰어난 성능을 입증한다.

제안 방법

• 시스템은 패닝, 틸팅, 초점 거리로 파arameterized된 새로운 카메라 모델을 사용하여 이상치에 더 강건한 추정을 위해 자유도를 최소화한다.
• 확장된 카메라 자세 추정을 위해 단일 프레임에서 다중 프레임 추정으로 두 지점 방법을 확장하고, 온라인 카메라 자세 추적을 위해 확장된 카오스 필터(EKF)를 사용한다.
• 3차원 구조를 표현하기 위해 지도 내에서 레이를 지표점으로 사용함으로써, 순수한 회전 운동에서 발생하는 깊이 모호성을 해결한다.
• 추적 실수가 발생했을 때 재정렬을 지원하기 위해 키프레임에서 점진적으로 온라인 패닝-틸팅 랜덤 포레스트(RF)를 구축한다.
• 사전에 학습된 객체 검출기(예: Faster R-CNN)를 통해 플레이어 검출을 수행하고, 플레이어 영역의 키포인트는 특징 매칭 중에 기각된다.
• 재정렬은 RANSAC 기반 최적화를 사용한 최근접 이웃 검색을 사용하지만, 무늬가 반복되는 배경에서 더 뛰어난 분류 성능를 보이기 때문에 KD-트리보다 랜덤 포레스트를 우선시한다.

실험 결과

연구 질문

• RQ1 PTZ SLAM 시스템은 고속으로 움직이는 스포츠 영상에서 높은 동적 콘텐츠를 가진 환경에서도 안정적이고 정확한 카메라 자세 추정을 달성할 수 있는가?
• RQ2 기존의 3차원 점 또는 호모지어티 기반 표현에 비해 레이를 지표점으로 사용할 경우 깊이 추정 및 추적 강건성에서 향상되는가?
• RQ3 플레이어 검출을 통합하면 움직이는 전경 물체가 특징 추적 및 자세 추정에 미치는 영향을 상당히 줄일 수 있는가?
• RQ4 제안된 온라인 패닝-틸팅 랜덤 포레스트는 어려운 스포츠 장면에서 KD-트리 기반 최근접 이웃 검색과 비교해 어떻게 성능을 냈는가?
• RQ5 빠른 카메라 운동 하에서 호모지어티 기반 접근법에 비해 확장된 두 지점 방법이 정확도와 드리프트 측면에서 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 PTZ SLAM 시스템은 농구 및 축구 영상의 장시간 시퀀스 동안도 카메라를 성공적으로 추적하며, 추적 실수가 발생하는 기존 기준 방법과는 달리 빠른 패닝 운동 동안에도 지속적인 정확한 추적을 유지한다.
• 농구 데이터셋에서 EKF-H는 빠른 카메라 운동 동안 추적을 잃었으며(그림 6의 첫 번째 녹색 반투명 영역), 제안된 방법은 훨씬 낮은 오차로 지속적인 정확한 추적을 유지했다.
• 제안된 방법은 전체 시퀀스 동안 EKF-H보다 낮은 패닝 각도 추정 오차를 기록했으며, 빠른 카메라 전환 후에도 명백한 드리프트가 없었다.
• 플레이어 검출은 움직이는 플레이어에서 기인하는 잘못된 특징 매칭 수를 효과적으로 줄여 추적 안정성 향상과 자세 오차 감소에 기여했다.
• 온라인 패닝-틸팅 랜덤 포레스트는 반복 무늬가 있는 배경에서 KD-트리 기반 최근접 이웃 검색보다 재정렬 성능에서 뛰어났다.
• 밀도 높은 테스트를 수행한 합성 데이터셋에서도 시스템은 강건성을 입증했으며, 대규모 공개 실생활 스포츠 데이터셋의 부족을 보완했다.