[논문 리뷰] Automated Top View Registration of Broadcast Football Videos

Rahul Sharma, Bharath Bhat외 2명|arXiv (Cornell University)|2017. 03. 04.

Video Analysis and Summarization참고 문헌 22인용 수 9

한 줄 요약

이 논문은 인위적으로 생성된 엣지맵과 투영 변환의 사전을 기반으로 호모그래피 추정을 최근접 이웃 검색 문제로 공식화하여 방송 축구 영상의 정적 상향 시점 필드 모델에 대해 완전 자동으로 레지istration하는 방법을 제안한다. 최적화 후 평균 IOU가 87%에 도달하여 수동 초기화 방법을 능가하며, 인간 간섭 없이도 강력하고 확장 가능한 축구 영상 분석을 가능하게 한다.

ABSTRACT

In this paper, we propose a novel method to register football broadcast video frames on the static top view model of the playing surface. The proposed method is fully automatic in contrast to the current state of the art which requires manual initialization of point correspondences between the image and the static model. Automatic registration using existing approaches has been difficult due to the lack of sufficient point correspondences. We investigate an alternate approach exploiting the edge information from the line markings on the field. We formulate the registration problem as a nearest neighbour search over a synthetically generated dictionary of edge map and homography pairs. The synthetic dictionary generation allows us to exhaustively cover a wide variety of camera angles and positions and reduce this problem to a minimal per-frame edge map matching procedure. We show that the per-frame results can be improved in videos using an optimization framework for temporal camera stabilization. We demonstrate the efficacy of our approach by presenting extensive results on a dataset collected from matches of football World Cup 2014.

연구 동기 및 목표

• 점 대응 관계 대신 엣지 기반 특징을 활용하여 축구 영상 레지istration에서 수동 초기화를 제거한다.
• 방송 축구 영상에서의 무문자 필드와 동적인 카메라 움직임에 도전하는 문제를 해결한다.
• 반감독 학습 기반의 합성 사전 생성 방식을 통해 확장 가능한 자동 상향 시점 레지istration을 가능하게 한다.
• MRF와 볼록 최적화를 활용한 시간적 최적화를 통해 프레임별 레지istration 정확도를 향상시킨다.
• 특수 카메라 시스템이 필요 없이 자유롭게 이용 가능한 방송 영상에서 고품질의 축구 트래킹 데이터를 접근 가능하게 한다.

제안 방법

• 해당 방법은 사전에 계산된 합성 엣지맵과 호모그래피 쌍의 사전 내에서 최근접 이웃 검색을 통해 호모그래피 추정을 공식화한다.
• 반감독 학습 방식을 통해 소량의 수동으로 주석이 달린 예시에서 카메라 시점의 시뮬레이션을 통해 사전을 생성하며, 다양한 각도와 위치를 커버한다.
• HOG, 챈퍼 매칭, CNN 기반 특징을 사용하여 엣지 특징을 추출하며, HOG + k-NN는 대규모 주석 없이도 경쟁적인 성능을 보인다.
• 프레임별 호모그래피 예측은 시간적 일관성을 향상시키기 위해 마르코프 무작위 필드(MRF) 최적화를 통해 정밀화된다.
• 볼록 최적화 프레임워크를 통해 카메라 움직임을 매끄럽게 하고, 흔들림을 줄이며 전문가 수준의 카메라 행동을 모방한다.
• 추정된 호모그래피를 사용해 방송 프레임에서의 선수 위치를 상향 시점 모델로 투영함으로써 후속 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수동 초기화 없이도 완전 자동으로 방송 축구 영상을 정적 상향 시점 필드 모델에 레지istration할 수 있는가?
• RQ2 무문자 필드와 동적인 장면에서 필드 마킹의 엣지 기반 특징이 호모그래피를 신뢰성 있게 추정할 수 있는가?
• RQ3 합성으로 생성된 엣지맵과 호모그래피 사전이 실제 카메라 변형을 얼마나 잘 커버하는가?
• RQ4 시간적 최적화가 프레임별 호모그래피 추정의 정확도와 안정성에 얼마나 기여하는가?
• RQ5 이 방법이 줌, 움직임 흐림, 그림자, 장면 전환 등 실제 방송 영상의 다양한 조건에 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 프레임별 호모그래피 추정에서 평균 IOU가 85%를 기록하여 동일한 데이터셋에서 SIFT 기반 트래커(70%)와 KLT 기반 방법(35%)을 크게 능가한다.
• MRF 기반 최적화를 적용한 후 평균 IOU는 87%로 향상되어 시간적 스무딩의 효과를 입증한다.
• qualitative 결과에서 그림자, 움직임 흐림, 극단적인 카메라 각도, 줌 변화와 같은 도전적인 조건을 성공적으로 처리한다.
• 카메라 움직임 궤적의 볼록 최적화가 흔들림을 효과적으로 제거하고 매끄럽고 전문가 수준의 카메라 행동을 생성함을 편향 각도 곡선에서 확인할 수 있다.
• 반감독 학습 사전 생성 방식은 수천 장의 이미지에 대한 수동 레이블링이 필요 없이 다양한 카메라 시점에 대한 견고한 커버리지 가능성을 보여준다.
• 이 방법은 완전 자동화되고 확장 가능하므로, 특수 카메라 설치 없이도 표준 방송 영상에서 고품질의 상향 시점 트래킹 데이터를 접근 가능하게 한다.