[논문 리뷰] Localization of Ice-Rink for Broadcast Hockey Videos

Mehrnaz Fani, Pascale Walters외 3명|arXiv (Cornell University)|2021. 04. 22.

Video Analysis and Summarization참고 문헌 13인용 수 6

한 줄 요약

이 논문은 브로드캐스트 영상에서 자동으로 아이스링크를 식별하기 위한 단순하면서도 효과적인 프레임워크를 제안한다. ResNet18 기반의 회귀 모델을 사용해 각 프레임당 네 개의 제어점을 예측하고, Hann 윈도우 기반의 궤적 스무딩을 통해 동작 보정을 통해 허니지 추정의 진동을 제거한다. 이 방법은 정확도를 훼손하지 않으면서도 안정적이고 시각적으로 연속적인 결과를 도출하며, 새로 수집한 하키 영상 데이터셋을 기반으로 검증되었으며, 평균 IOU는 94.65%이며 스무딩 후 부드러움 점수는 32.86점 감소하였다.

ABSTRACT

In this work, an automatic and simple framework for hockey ice-rink localization from broadcast videos is introduced. First, video is broken into video-shots by a hierarchical partitioning of the video frames, and thresholding based on their histograms. To localize the frames on the ice-rink model, a ResNet18-based regressor is implemented and trained, which regresses to four control points on the model in a frame-by-frame fashion. This leads to the projection jittering problem in the video. To overcome this, in the inference phase, the trajectory of the control points on the ice-rink model are smoothed, for all the consecutive frames of a given video-shot, by convolving a Hann window with the achieved coordinates. Finally, the smoothed homography matrix is computed by using the direct linear transform on the four pairs of corresponding points. A hockey dataset for training and testing the regressor is gathered. The results show success of this simple and comprehensive procedure for localizing the hockey ice-rink and addressing the problem of jittering without affecting the accuracy of homography estimation.

연구 동기 및 목표

• 스포츠 영상 분석에서 영상 프레임 간 허니지 추정의 진동 문제를 해결하기 위해.
• 브로드캐스트 영상에서 하키 아이스링크를 자동으로 식별하기 위한 강력하고 종단 간 엔드 투 엔드 파이프라인 개발을 위해.
• 미래 연구를 지원하기 위해 공개 가능한 하키 영상 촬영 지점 식별 데이터셋을 구축하기 위해.
• 예측된 제어점 궤적의 스무딩을 통해 왜곡된 영상 시퀀스의 시각적 연속성을 향상시키되, 정확도를 떨어뜨리지 않기 위해.

제안 방법

• 영상 셸터 경계는 임계값 기반 히스토그램 방법을 사용해 영상 셸터로 분할한다.
• 각 입력 영상 프레임에 대해 아이스링크 모델의 네 개의 제어점을 예측하기 위해 ResNet18 기반의 회귀 모델을 훈련시킨다.
• 연속된 프레임 간의 제어점 궤적을 Hann 윈도우 컨볼루션을 사용해 스무딩하여 진동을 줄인다.
• 네 개의 스무딩된 제어점 쌍을 사용해 직접 선형 변환(DLT) 알고리즘을 통해 스무딩된 허니지 행렬을 계산한다.
• 각 영상 셸터를 별도로 처리하여 셸터 내부의 시간적 일관성을 확보한다.
• 키프레임과 지상 진실 허니지가 포함된 72개의 하키 영상 셸터로 구성된 새로운 데이터셋을 수집하여 훈련 및 평가에 사용한다.

실험 결과

연구 질문

• RQ1 간단한 프레임 간 회귀 접근 방식이 브로드캐스트 하키 영상에서 정확한 아이스링크 식별을 달성할 수 있는가?
• RQ2 예측된 제어점 궤적의 스무딩이 정확도를 떨어뜨리지 않으면서도 허니지 추정의 진동을 효과적으로 줄일 수 있는가?
• RQ3 제안된 스무딩 방법은 정밀도와 시각적 부드러움 측면에서 최신 기술 대비 어떻게 비교되는가?
• RQ4 자체 제작한 하키 영상 데이터셋의 사용이 식별 프레임워크의 일반화 능력과 신뢰성에 어느 정도 기여하는가?

주요 결과

• 스무딩 후 평균 IOU가 94.65%에 도달하여 높은 정확도를 입증하였다.
• 모든 테스트 셸터의 평균 부드러움 점수는 스무딩 이전의 140.02에서 스무딩 이후 107.15로 32.86점 감소하였다.
• 스무딩 단계는 제어점 궤적의 진동을 크게 줄이며, 그림 2에서 명백히 확인할 수 있듯이 더 부드러운 영상 왜곡을 이끌어냈다.
• 스무딩 후 IOU 또는 투영된 점의 분산에 유의미한 감소가 없어 정확도 유지가 확인되어 강건함을 입증하였다.
• 지상 진실 허니지가 포함된 72개의 셸터로 구성된 새로운 하키 영상 데이터셋은 공개 가능하며 재현 가능한 평가를 가능하게 한다.
• SFF 베이스라인과 비교해 제안된 방법은 더 높은 IOU(94.65 vs. 90.1)와 더 나은 부드러움을 확보하여 시각적 품질 측면에서 우월함을 입증하였다.