[논문 리뷰] A Parameterized Approach to Personalized Variable Length Summarization of Soccer Matches

Mohak Sukhwani, Ravi Kothari|arXiv (Cornell University)|2017. 06. 28.

Video Analysis and Summarization참고 문헌 16인용 수 4

한 줄 요약

이 논문은 경기 중의 플레이를 '플레이'로 분할하고, 각 플레이 유형에 사용자 지정 유틸리티 가중치를 부여하며, 시간 제한 내에서 유틸리티를 최대화하기 위해 배낭 포장(기법)을 사용함으로써 개인화되고 길이가 변하는 축구 경기 요약 영상을 생성하기 위한 파arameterized이고 최적화 기반의 접근법을 제안한다. 이 방법은 개인의 선호도를 반영하면서도 시간적 연속성을 유지하는 의미적으로 유의미한 요약을 매우 맞춤형으로 생성할 수 있다.

ABSTRACT

We present a parameterized approach to produce personalized variable length summaries of soccer matches. Our approach is based on temporally segmenting the soccer video into 'plays', associating a user-specifiable 'utility' for each type of play and using 'bin-packing' to select a subset of the plays that add up to the desired length while maximizing the overall utility (volume in bin-packing terms). Our approach systematically allows a user to override the default weights assigned to each type of play with individual preferences and thus see a highly personalized variable length summarization of soccer matches. We demonstrate our approach based on the output of an end-to-end pipeline that we are building to produce such summaries. Though aspects of the overall end-to-end pipeline are human assisted at present, the results clearly show that the proposed approach is capable of producing semantically meaningful and compelling summaries. Besides the obvious use of producing summaries of superior league matches for news broadcasts, we anticipate our work to promote greater awareness of the local matches and junior leagues by producing consumable summaries of them.

연구 동기 및 목표

• 개인의 선호도에 기반한 개인화되고 길이가 변하는 축구 경기 요약을 가능하게 하기 위해.
• 사용자가 기본 플레이 가중치를 사용자 지정 우선순위로 교체할 수 있도록 체계적으로 허용하기 위해.
• 시간 순서와 맥락을 유지하면서 의미적으로 일관된 요약을 생성하기 위해.
• 엘리트 수준과 현지 수준의 축구 경기 모두에 적용 가능한 확장성 있고 확장 가능한 프레임워크를 개발하기 위해.
• 최소한의 인간 간섭으로 끝에서 끝까지 자동화된 요약 파이프라인의 기반을 마련하기 위해.

제안 방법

• 시각적 특징과 광학 흐름 표현에서의 변화점 분석을 통해 축구 영상을 '플레이'로 시간적으로 분할한다.
• 3프레임 이웃 보간을 사용한 미세조정된 YOLO 모델을 적용하여 선수 감지를 향상시키고 거짓 긍정을 줄인다.
• 비플레이 영역의 노이즈를 최소화하기 위해 선수 바운딩 박스에서만 밀도 있는 궤적을 계산하여 각 플레이를 표현한다.
• 사용자가 지정한 유틸리티 가중치를 각 플레이 유형에 할당하며, 높은 가중치는 선호도를 나타낸다.
• 사용자가 정의한 시간 제한을 초과하지 않으면서 총 유틸리티를 최대화하는 플레이의 부분 집합을 선택하기 위해 배낭 포장 수식을 적용한다.
• 최종 요약에서 서사적 연속성을 유지하기 위해 선택된 클립의 시간 순서를 보장한다.

실험 결과

연구 질문

• RQ1 시각적 및 운동 특징을 사용하여 축구 경기 영상을 의미적으로 유의미한 '플레이'로 분할하는 방법은 무엇인가?
• RQ2 다양한 플레이 유형에 대한 유틸리티 가중치로 사용자 선호도를 체계적으로 표현할 수 있는가?
• RQ3 배낭 포장 최적화 접근법이 사용자 지정 유틸리티를 최대화하는 가변 길이 요약을 효과적으로 생성할 수 있는가?
• RQ4 전체 프레임 표현에 비해 선수 전용 궤적 표현을 사용할 경우 이벤트 분할의 정확도가 어떻게 향상되는가?
• RQ5 의미적 품질을 유지하면서 요약 파이프라인을 얼마나 자동화할 수 있는가?

주요 결과

• 3프레임 이웃 보간은 거짓 긍정을 최소화하면서도 정확한 선수 바운딩 박스 감지를 12% 향상시켰으며, 더 큰 이웃 범위보다 우수한 성능을 보였다.
• 5, 7, 9프레임 보간은 각각 거짓 감지 수를 22%, 32%, 41% 증가시켜 3프레임 보간이 최적임을 확인했다.
• 선수 전용 궤적 표현은 지면과 관중 픽셀의 간섭을 제거함으로써 더 부드럽고 정확한 이벤트 분할을 가능하게 했다.
• 배낭 포장 방법은 사용자 지정 플레이를 우선시하면서도 시간 순서와 의미적 일관성을 유지하는 요약을 성공적으로 생성했다.
• 최소한의 인간 간섭으로도 시스템이 뛰어난 성능을 보이며, 풀 자동화 가능성의 잠재력을 잘 보여주었다.
• 이 방법은 유연한 요약 길이를 지원하며, 단일 경기뿐만 아니라 다중 경기 요약(예: 토너먼트 전체 골 요약)에도 적용 가능하다.