[논문 리뷰] Sports Camera Calibration via Synthetic Data

Jianhui Chen, James J. Little|arXiv (Cornell University)|2018. 10. 25.

Human Pose and Action Recognition참고 문헌 24인용 수 5

한 줄 요약

이 논문은 합성 데이터와 딥러닝을 활용한 고도로 자동화된 스포츠 카메라 캘리브레이션 방법을 제안한다. 새로운 3파ram터 카메라 포즈 엔진을 도입해 합성 에지 이미지를 생성하고, 압축된 특징 학습을 위한 시아모이 네트워크를 훈련하며, 강건한 필드 마킹 감지를 위한 두 개의 GAN 모델을 활용한다. 이 방법은 표준 축구 데이터셋에서 최신 기술 수준의 정확도를 달성했고, 빌리지볼리 데이터셋에서 97.6%의 평균 IoU를 기록한다.

ABSTRACT

Calibrating sports cameras is important for autonomous broadcasting and sports analysis. Here we propose a highly automatic method for calibrating sports cameras from a single image using synthetic data. First, we develop a novel camera pose engine. The camera pose engine has only three significant free parameters so that it can effectively generate a lot of camera poses and corresponding edge (i.e, field marking) images. Then, we learn compact deep features via a siamese network from paired edge image and camera pose and build a feature-pose database. After that, we use a novel two-GAN (generative adversarial network) model to detect field markings in real images. Finally, we query an initial camera pose from the feature-pose database and refine camera poses using truncated distance images. We evaluate our method on both synthetic and real data. Our method not only demonstrates the robustness on the synthetic data but also achieves the state-of-the-art accuracy on a standard soccer dataset and very high performance on a volleyball dataset.

연구 동기 및 목표

• 사람의 간섭을 최소화하는 완전 자동화된 스포츠 영상 캘리브레이션 방법을 개발하기 위해.
• 다양한 스포츠 환경에서 카메라 위치와 필드 마킹이 다양할 경우 단일 이미지에서 카메라 포즈 추정 문제를 해결하기 위해.
• 합성 데이터와 딥러닝을 활용해 다양한 스포츠 경기장과 조명 조건에서도 캘리브레이션의 강건성과 정확도를 향상시키기 위해.
• 스포츠 카메라 설치의 공간적 및 각도적 사전 지식(예: 중앙선 근처, 제한된 기울기)을 활용해 포즈 추정 문제를 단순화하기 위해.
• 제한적이거나 균일하지 않은 필드 마킹이 있는 상황에서도 실제 데이터셋에서 고정밀 캘리브레이션을 달성하기 위해.

제안 방법

• 스포츠 경기장의 다양한 카메라 포즈와 해당하는 합성 에지 이미지를 생성하기 위해, 편향, 기울기, 초점 거리의 세 가지 주요 자유 매개변수만을 갖는 새로운 카메라 포즈 엔진을 설계하였다.
• 쌍체의 에지 이미지와 카메라 포즈로부터 압축된 16차원 특징을 학습하기 위해 시아모이 딥 네트워크를 훈련하였으며, 이는 효율적인 특징-포즈 데이터베이스 구축에 기여한다.
• 두 개의 GAN 모델을 도입하였다: 하나의 GAN은 필드 마킹의 인스턴스 세그멘테이션을 수행하고, 다른 하나는 LK 기반의 조밀한 옵티컬 플로우 유사 워핑을 통해 감지 정확도를 향상시킨다.
• 학습된 특징을 해당 카메라 포즈에 매핑하여 인퍼런스 시 빠른 최근접 이웃 검색이 가능한 특징-포즈 데이터베이스를 구축하였다.
• 초기 카메라 포즈는 데이터베이스에서 검색된 후, 검출된 필드 마킹에서 유도된 기하학적 제약 조건을 인코딩한 절삭된 거리 이미지를 사용해 정밀 조정된다.
• 하이브리드 접근 방식을 사용한다: 훈련에는 합성 데이터를, 실제 이미지 감지는 GAN을 통해 수행하고, 기하학적 정밀 조정을 통해 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 이미지와 합성 데이터만을 사용하여 수동 애너테이션 없이 고도로 자동화된 카메라 캘리브레이션 시스템을 구축할 수 있는가?
• RQ2 스포츠 카메라 설치의 공간적 및 각도적 사전 지식(예: 중앙선 근처, 제한된 기울기)을 어떻게 활용하여 캘리브레이션 정확도를 향상시키고 단순화할 수 있는가?
• RQ3 압축된 특징(16D)을 갖는 시아모이 네트워크가 에지 이미지에서 실제 카메라 포즈 검색에 얼마나 일반화되는가?
• RQ4 두 개의 GAN 아키텍처는 어두운 그림자나 부분적인 가림 등 도전적인 조건에서도 흩어져 있거나 불규칙한 필드 마킹을 효과적으로 감지할 수 있는가?
• RQ5 기존 최신 기술 수준의 방법들과 비교해 본다면, 제안된 방법은 표준 및 비표준 스포츠 데이터셋에서 정확도와 강건성 측면에서 어떤 성능을 보이는가?

주요 결과

• 표준 축구 데이터셋에서 최신 기술 수준의 성능을 달성하였고, 이는 이전 방법들보다 카메라 포즈 추정 정확도에서 뛰어난 성능을 보였다.
• 빌리지볼리 데이터셋에서 평균 IoU는 97.6%이며 중앙값 IoU는 98.8%를 기록하여, 마킹이 적은 상황에서도 매우 높은 성능을 보였다.
• 두 개의 GAN 모델은 필드 마킹 감지 성능을 크게 향상시켰으며, 추론 실험 결과에서 세그멘테이션 GAN과 LK 기반 워핑 모두 최종 정확도에 기여하는 것으로 확인되었다.
• 마킹이 부분적으로 가림되거나 균일하지 않게 분포되어 있어도 방법은 강건하게 유지되나, 강한 그림자는 감지 성능을 떨어뜨려 포즈 추정에 악영향을 미친다.
• HOG 특징 기반 베이스라인은 정확도는 유사하게 유지되었지만, 특징 차원이 매우 크며(1,860D 대비 16D) 이는 제안된 시아모이 네트워크의 효율성을 뚜렷이 보여준다.
• 카메라 위치의 변화에 대해 강건한 성능을 보였으며, 정확한 위치가 알려져 있어야 하는 기존 방법들과 달리, 본 방법은 카메라 위치에 대한 근사적인 사전 지식만을 가정한다.