[논문 리뷰] Self-Learning for Player Localization in Sports Video

Kenji Okuma, David Lowe외 1명|arXiv (Cornell University)|2013. 07. 27.

Human Pose and Action Recognition참고 문헌 2인용 수 10

한 줄 요약

이 논문은 외관, 운동량, 필드 색상 신호를 사용하여 스포츠 영상에서 추가 플레이어 레이블을 자동으로 발견하는 자기학습 프레임워크를 제안한다. 최소한의 초기 애너테이션으로도 검출 성능을 크게 향상시킨다. 높은 신뢰도를 가진 가짜 음성 및 필드 분할 영역을 반복적으로 재학습하여 디포머블 파트 모델을 사용함으로써, 평균 정밀도를 20퍼센트 이상 향상시켰다. 이는 오직 다섯 장의 레이블이 있는 이미지로도 가능하다.

ABSTRACT

This paper introduces a novel self-learning framework that automates the label acquisition process for improving models for detecting players in broadcast footage of sports games. Unlike most previous self-learning approaches for improving appearance-based object detectors from videos, we allow an unknown, unconstrained number of target objects in a more generalized video sequence with non-static camera views. Our self-learning approach uses a latent SVM learning algorithm and deformable part models to represent the shape and colour information of players, constraining their motions, and learns the colour of the playing field by a gentle Adaboost algorithm. We combine those image cues and discover additional labels automatically from unlabelled data. In our experiments, our approach exploits both labelled and unlabelled data in sparsely labelled videos of sports games, providing a mean performance improvement of over 20% in the average precision for detecting sports players and improved tracking, when videos contain very few labelled images.

연구 동기 및 목표

• 스포츠 영상 객체 검출에서 수동 애너테이션의 높은 비용을 줄이기 위해 레이블 확보를 자동화한다.
• 정적 카메라가 아닌 방송 영상에서 움직이는 플레이어 수가 알려지지 않은 상황에서도 플레이어 검출 성능을 향상시킨다.
• 수동 재애너테이션 없이 레이블이 있는 데이터와 없는 데이터를 모두 활용하는 자기학습 프레임워크를 개발한다.
• 운동 제약 조건과 경기장 세그멘테이션을 사용하여 인간이 애너테이션한 데이터에 의존도를 줄이는 완전 자동 레이블 발견을 가능하게 한다.

제안 방법

• 프레임워크는 외형과 색상 표현을 위해 잠재적 서포트 벡터 머신(Latent SVM)과 디포머블 파트 모델(DPM)을 사용하며, 레이블 발견을 안내하기 위해 운동 제약 조건을 통합한다.
• 경기장 색상 학습을 위해 부드러운 AdaBoost 알고리즘을 적용하여 후보 검출에서 가짜 양성 결과를 줄인다.
• 데이터 선택 알고리즘은 가장 정보가 많은 미레이블 프레임—특히 가장 신뢰도가 높고 낮은 검출 결과—를 식별하여 반복적인 모델 재학습을 수행한다.
• 시스템은 새로 발견된 레이블을 사용해 반복적으로 검출기 재학습을 수행함으로써 시간이 지남에 따라 검출 신뢰도와 정위치 정확도를 향상시킨다.
• 특히 검출기가 처음에 놓친 플레이어에 대해, 프레임 간 운동 일관성을 사용해 후보 검출 결과를 검증한다.
• 플레이어 크기의 평균과 표준편차를 기반으로 한 크기 우선순위를 사용해 계산 검색 공간을 제한하고 추론 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 초기에 약간의 애너테이션된 프레임만 존재할 때, 자기학습 프레임워크가 미레이블 스포츠 영상 데이터에서 유용한 레이블을 자동으로 발견할 수 있는가?
• RQ2 운동 제약 조건과 필드 색상 세그멘테이션은 정적 카메라가 아닌 영상에서 자가 생성된 레이블의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ3 학습 데이터가 극도로 희박할 경우 자기학습이 플레이어 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 각 프레임에서 알려지지 않은 수의 플레이어가 존재하는 영상으로 일반화될 수 있는가?

주요 결과

• 오직 다섯 장의 레이블이 있는 이미지로만 초기 학습을 수행했음에도 불구하고, 스포츠 영상 데이터셋에서 평균 정밀도를 20퍼센트 이상 향상시켰다.
• 네 번의 자기학습 반복 후, 아이스하키 영상 시퀀스에서 평균 정밀도는 0.55에서 0.67로 상승하여 일관된 향상이 확인되었다.
• 운동 일관성과 필드 세그멘테이션을 활용하여 복잡한 장면에서도 가짜 음성 결과를 성공적으로 발견하고 수정하였다.
• 필드 색상 세그멘테이션의 사용으로 가짜 양성 검출 결과가 크게 감소하여 자가 생성된 레이블의 신뢰성이 향상되었다.
• 프레임워크는 아이스하키와 농구 영상 모두에서 우수한 성능을 보였으며, 더 나은 검출 입력 덕분에 추적 결과도 향상되었다.
• 계산 측면에서 시스템은 8코어 머신에서 약 4일 분량의 CPU 시간이 소요되었으며, 이 중 80퍼센트 이상이 검출 추론과 모델 재학습에 소요되었다.