[논문 리뷰] Leveraging Contextual Cues for Generating Basketball Highlights

Vinay Bettadapura, Caroline Pantofaru외 1명|arXiv (Cornell University)|2016. 06. 29.

Video Analysis and Summarization참고 문헌 17인용 수 5

한 줄 요약

이 논문은 교차검증을 통해 학습된 가중치 합 모델을 사용하여 영상에서의 운동(모션)과 경기 환경의 맥락적 단서(예: 음성, 득점 격차, 선수 순위, 골 유형 등)를 결합함으로써 자동으로 고품질 농구 하이라이트를 생성하는 방법을 제안한다. 사용자 연구 결과, 시스템이 생성한 하이라이트는 인지도 높은 ESPN의 수작업 편집 하이라이트와 흥미진영도에서 유사한 수준을 보였다.

ABSTRACT

The massive growth of sports videos has resulted in a need for automatic generation of sports highlights that are comparable in quality to the hand-edited highlights produced by broadcasters such as ESPN. Unlike previous works that mostly use audio-visual cues derived from the video, we propose an approach that additionally leverages contextual cues derived from the environment that the game is being played in. The contextual cues provide information about the excitement levels in the game, which can be ranked and selected to automatically produce high-quality basketball highlights. We introduce a new dataset of 25 NCAA games along with their play-by-play stats and the ground-truth excitement data for each basket. We explore the informativeness of five different cues derived from the video and from the environment through user studies. Our experiments show that for our study participants, the highlights produced by our system are comparable to the ones produced by ESPN for the same games.

연구 동기 및 목표

• 수작업 편집된 스포츠 하이라이트의 확장성과 품질 한계를 해결하기 위해 하이라이트 생성 과정을 자동화하는 것.
• 순수한 영상 특징 외에도 경기 환경의 맥락적 단서가 하이라이트 품질 향상에 기여할 수 있는지 탐색하는 것.
• 환경적 단서와 시각적 단서를 조합하여 농구 골의 흥미진영도를 순위 매기는 시스템을 개발하는 것.
• 사용자 연구를 통해 전문 하이라이트와의 성능을 평가하는 것.
• 연구 목적을 위해 사용 가능한 25개의 NCAA 경기 데이터셋(1,173개 골, 이닝별 통계, 기준 흥미진영도 점수 포함)을 공개하는 것.

제안 방법

• 시스템은 다섯 가지 단서를 추출한다: 영상에서의 운동, 관중과 해설자의 음성, 득점 격차, 선수 순위, 골 유형(예: 덩크 vs. 레이업).
• 각 단서는 경기 내 모든 골에 대해 수치적 흥미진영도 점수로 변환된다.
• 가중치 합 모델이 이 단서들을 조합하여 최종 흥미진영도 점수를 산출하며, 가중치는 데이터셋에 대해 25개의 교차검증을 통해 학습된다.
• 하이라이트는 최종 흥미진영도 점수로 순위 매겨진 상위-n개 골을 시계열 순서에 따라 조합함으로써 생성된다.
• 기준 흥미진영도 데이터는 아마존 메카니컬 터크에서 실시한 쌍대 비교 A/B 사용자 연구를 통해 수집되었으며, 참가자들은 두 골 중 더 흥미진영도 있는 것을 선택했다.
• 시스템의 성능 평가를 위해 추가로 A/B 연구를 실시하여 시스템 출력 결과와 ESPN 하이라이트, 무작위 하이라이트를 비교하였다.

실험 결과

연구 질문

• RQ1 순수한 시각적 단서 외에도 경기 환경의 맥락적 단서(예: 음성, 득점, 선수 통계)를 활용할 경우, 자동 하이라이트 생성 정확도가 향상될 수 있는가?
• RQ2 개별 맥락적 단서(예: 음성, 득점 격차)가 인간이 느끼는 농구 플레이의 흥미진영도를 얼마나 잘 예측할 수 있는가?
• RQ3 학습된 가중치 모델을 통해 다수의 단서를 조합하면 전문적으로 편집된 ESPN 하이라이트와 유사한 품질의 하이라이트를 생성할 수 있는가?
• RQ4 사용자 선호도 측면에서 시스템의 성능은 랜덤 하이라이트 선택에 비해 얼마나 뛰어난가?
• RQ5 음성과 영상 모odalities가 인간이 농구 하이라이트의 흥미진영도를 인식하는 데 각각 얼마나 기여하는가?

주요 결과

• 단서 조합 모델은 사용자가 느끼는 흥미진영도를 예측하는 데 있어 개별 단서보다 유의미하게 뛰어났으며, 사용자 연구에서 조합 방법이 더 높은 일치도를 보였다.
• 사용자 연구 결과, 시스템의 하이라이트가 10개 경기 중 7개에서 랜덤 하이라이트보다 선호되었으며, 모든 사용자 평균 일치도는 중앙값 61.29%였다.
• 농구 팬들 중에서는 시스템의 하이라이트가 10개 경기 중 8개에서 랜덤 하이라이트보다 선호되었으며, 중앙값 일치도는 53.33%였다.
• ESPN 하이라이트도 10개 경기 중 7개에서 랜덤 하이라이트보다 선호되었으며(중앙값 일치도 54.84%), 이는 흥미진영도의 주관성으로 인해 랜덤 하이라이트 역시 상당히 잘 작동함을 시사한다.
• 음성 전용 및 영상 전용 A/B 테스트를 별도로 실시한 결과, 일치도가 각각 80%에서 59.7% 및 59.82%로 유의미하게 감소하여, 두 모달리티 모두 신뢰할 수 있는 흥미진영도 인식에 필수적임을 입증했다.
• 사용자 연구를 통해 시스템이 생성한 최종 하이라이트가 ESPN의 수작업 편집 하이라이트와 품질 면에서 유사한 것으로 확인되었으며, 다수의 비교에서 시스템 출력 결과가 통계적으로 유의미하게 선호되었다.