[논문 리뷰] A Two-point Method for PTZ Camera Calibration in Sports

Jianhui Chen, Fangrui Zhu외 1명|arXiv (Cornell University)|2018. 01. 26.

Advanced Vision and Imaging참고 문헌 30인용 수 6

한 줄 요약

이 논문은 카메라 기준 위치와 방향에 대한 사전 지식을 활용하여 스포츠 영상에서 PTZ 카메라를 校정하기 위한 이점법을 제안한다. 이 방법은 오직 두 개의 3D-2D 점 대응만으로도 정확한 校정을 가능하게 한다. 또한 이미지 간 매칭이 필요 없이 국소 이미지 패치에서 카메라 각도를 예측하는 패닝-틸팅 포레스트 랜덤 포레스트 모델을 도입하여 기존 최고 수준의 방법보다 더 빠르고 정확한 校정을 달성한다. 이는 합성 및 실제 축구 데이터셋에서 입증되었다.

ABSTRACT

Calibrating narrow field of view soccer cameras is challenging because there are very few field markings in the image. Unlike previous solutions, we propose a two-point method, which requires only two point correspondences given the prior knowledge of base location and orientation of a pan-tilt-zoom (PTZ) camera. We deploy this new calibration method to annotate pan-tilt-zoom data from soccer videos. The collected data are used as references for new images. We also propose a fast random forest method to predict pan-tilt angles without image-to-image feature matching, leading to an efficient calibration method for new images. We demonstrate our system on synthetic data and two real soccer datasets. Our two-point approach achieves superior performance over the state-of-the-art method.

연구 동기 및 목표

• 시야가 좁은 PTZ 카메라에서 주변 마킹이 거의 보이지 않는 스포츠 영상에서 校정 문제를 해결하기 위해.
• 기존 校정 파이프라인에서 시간이 오래 걸리는 수동 애너테이션과 이미지 간 특징 매칭에 의존도를 줄이기 위해.
• 기본 카메라 기준 파ameters를 활용하여 오직 두 개의 점 대응만으로도 효율적이고 정확한 校정을 가능하게 하기 위해.
• 기준 이미지와의 매칭 없이 국소 이미지 기술자표를 사용해 패닝-틸팅 각도를 신속하게 예측하는 방법을 개발하기 위해.
• 실제 및 합성 축구 영상 데이터셋에서 최고 수준의 방법보다 뛰어난 정확도와 강건성을 입증하기 위해.

제안 방법

• 이 방법은 두 개의 3D 세계점과 그들의 2D 투영을 기반으로 카메라 자세(패닝, 틸팅, 초점거리)를 추정하는 이점법 알고리즘을 사용한다. 이때 카메라 기준 위치와 방향이 고정되어 있다고 가정한다.
• 점 대응과 정규화된 3D 좌표를 기반으로 유도된 이차 방정식을 통해 초점거리를 닫힌 형태로 해결한다.
• 국소 SIFT 기술자표를 기반으로 랜덤 포레스트 회귀를 사용해 패닝 및 틸팅 각도를 직접 이미지 패치에서 예측하는 패닝-틸팅 포레스트를 훈련시킨다.
• 패닝-틸팅 포레스트는 기준 이미지 데이터베이스의 국소 이미지 특징과 카메라 각도 간의 매핑을 학습함으로써 이미지 간 특징 매칭을 생략한다.
• 예측 각도를 초기 추정치로 사용하여 RANSAC를 활용한 카메라 자세 최적화를 수행함으로써 특징 노이즈에 대한 강건성을 향상시킨다.
• 이 방법은 렌즈 왜곡이 없다고 가정하고, 두 점으로부터 함께 추정되는 내재 및 외재 파ameters를 포함한 단순화된 카메라 모델을 사용한다.

실험 결과

연구 질문

• RQ1 시야가 좁은 PTZ 카메라에서 오직 두 개의 보이는 경기장 마킹만 존재할 경우, 이점법 校정 방법이 정확한 카메라 자세 추정을 달성할 수 있는가?
• RQ2 랜덤 포레스트 기반의 패닝-틸팅 예측 모델이 이미지 간 특징 매칭이 필요 없게 하고, 校정 속도를 크게 향상시킬 수 있는가?
• RQ3 실제 및 합성 축구 영상 데이터에서 제안된 방법이 최고 수준의 校정 기술에 비해 정확도와 속도 면에서 어떻게 비교되는가?
• RQ4 특징 점의 위치 노이즈와 카메라 기준 파ameters의 불확실성에 비해 이 방법의 강건성은 어느 정도 유지되는가?
• RQ5 이 두 점 기반 방법은 유사한 카메라 제약 조건과 제한된 경기장 마킹을 가진 다른 스포츠로 일반화될 수 있는가?

주요 결과

• 합성 및 실제 축구 데이터셋에서 기존 최고 수준의 방법에 비해 이점법이 뛰어난 校정 정확도를 달성한다.
• 패닝-틸팅 포레스트 방법은 이미지 간 특징 매칭이 필요 없어지면서 校정 시간을 단축시켜 새로운 이미지에 대한 추론 속도를 높인다.
• 특징 점의 위치 노이즈와 카메라 중심 추정 오차에 대해 강건성을 보이며 높은 정확도를 유지한다.
• 패닝-틸팅 포레스트의 성능은 최소 5개의 트리만으로도 향상되어 낮은 모델 복잡도로도 효율적인 학습이 가능함을 시사한다.
• 두 개의 실제 축구 데이터셋에서 기존 접근 방식보다 더 높은 정확도와 낮은 실행 시간으로 이미지의 校정을 성공적으로 수행하였다.
• 이중으로 보이는 경기장 점이 오직 두 개 뿐이어도 이 방법이 효과적이며, 스포츠 방송에서 흔히 사용되는 좁은 시야의 PTZ 카메라에 적합함을 입증하였다.