[논문 리뷰] Vid2Player: Controllable Video Sprites that Behave and Appear like Professional Tennis Players

Haotian Zhang, Cristobal Sciutto외 2명|arXiv (Cornell University)|2020. 08. 11.

Video Analysis and Summarization참고 문헌 32인용 수 10

한 줄 요약

Vid2Player는 라벨링된 방송 영상에서 선수의 행동과 외형을 모델링하여 전문 테니스 선수의 상호작용 가능하고 현실적인 비디오 스프라이트를 생성한다. 샷 사이클 상태 기계와 데이터 기반 행동 모델을 활용해 샷 배치 및 코트 위치를 제어함으로써, 가상의 대결을 포함한 새로운 현실적인 테니스 라운드를 합성할 수 있으며, 스케일에 걸쳐 상호작용 가능한 제어와 현실적인 라운드 역학을 제공한다.

ABSTRACT

We present a system that converts annotated broadcast video of tennis matches into interactively controllable video sprites that behave and appear like professional tennis players. Our approach is based on controllable video textures, and utilizes domain knowledge of the cyclic structure of tennis rallies to place clip transitions and accept control inputs at key decision-making moments of point play. Most importantly, we use points from the video collection to model a player's court positioning and shot selection decisions during points. We use these behavioral models to select video clips that reflect actions the real-life player is likely to take in a given match play situation, yielding sprites that behave realistically at the macro level of full points, not just individual tennis motions. Our system can generate novel points between professional tennis players that resemble Wimbledon broadcasts, enabling new experiences such as the creation of matchups between players that have not competed in real life, or interactive control of players in the Wimbledon final. According to expert tennis players, the rallies generated using our approach are significantly more realistic in terms of player behavior than video sprite methods that only consider the quality of motion transitions during video synthesis.

연구 동기 및 목표

• 실제 운동선수처럼 행동하는 상호작용 가능하고 시각적으로 현실적인 전문 테니스 선수의 비디오 스프라이트를 생성하는 것.
• 실제 경기 데이터를 기반으로 샷 선택 및 코트 위치와 같은 선수 행동을 모델링하여 전략적 현실성을 확보하는 것.
• 실제로 경기를 하지 않은 선수들 간에도 새로운 테니스 라운드를 가능하게 하며, 가상의 대결도 포함하는 것.
• 라운드 합성 중 샷 배치 및 복귀 위치에 대한 사용자 상호작용 제어를 지원하는 것.
• 운동 품질을 넘어서 거시적 전술적 행동을 통합함으로써 비디오 스프라이트의 현실성 향상

제안 방법

• 시스템은 샷 사이클 상태 기계를 사용해 라운드 내 핵심 의사결정 지점에서 전환되도록 하여 개별 샷 수준에서 비디오 합성을 체계화한다.
• 라벨링된 방송 영상에서 선수별 행동 모델을 구축하여 상대 선수와 경기 상황을 기반으로 샷 배치 및 코트 위치를 예측한다.
• 시각적 품질과 예측된 행동을 모두 기반으로 비디오 클립을 선택하는 제어 가능한 비디오 텍스처 시스템을 통해 현실적인 운동과 전략을 확보한다.
• 신경망 기반 이미지-이미지 번역 기법을 통해 경기 일자 간의 외형 변화를 보정하고 단일 시각 뷰의 방송 영상에서 부분적인 가림을 처리한다.
• 컴퓨터 비전 라벨링의 노이즈(예: 자세 추정 오류)에 강건한 성능을 확보하기 위해 도메인 인식 비디오 합성 기법을 통합한다.
• 사용자 입력을 통해 샷 배치(빨간 점)와 복귀 위치(파란 사각형)를 설정함으로써 실시간으로 행동 모델을 안내하는 상호작용 제어를 구현한다.

실험 결과

연구 질문

• RQ1 비디오 스프라이트가 현실적인 운동 뿐 아니라 실제 전문 테니스 선수처럼 전략적 행동을 보일 수 있는가?
• RQ2 테니스 라운드의 도메인 지식을 어떻게 활용하여 비디오 스프라이트 합성의 현실성과 효율성을 향상시킬 수 있는가?
• RQ3 샷 선택 및 코트 위치의 데이터 기반 행동 모델이 합성된 테니스 라운드의 거시적 현실성에 어느 정도 기여하는가?
• RQ4 시스템은 실제로 경기를 하지 않은 선수들 간에 가능한 새로운 테니스 대결을 생성할 수 있는가?
• RQ5 사용자 상호작용 제어가 시각적 및 전략적 타당성을 유지하면서 비디오 스프라이트 행동을 얼마나 효과적으로 안내하는가?

주요 결과

• 시스템은 실제로 대결한 바가 없는 실제 선수들 간에 새로운 테니스 라운드를 성공적으로 생성하였으며, 로저 페더러 대 세레나 윌리엄스의 경우와 같이 시각적·행동적으로 타당성이 있는 결과를 도출하였다.
• 전문 테니스 선수들은 Vid2Player가 생성한 라운드가 단지 운동 전환 품질에만 초점을 맞춘 기존의 비디오 스프라이트 방법보다 선수 행동 측면에서 훨씬 더 현실적으로 평가하였다.
• 행동 모델 분석 결과, 데드볼은 페더러의 약한 백핸드 측면을 더 자주 공격하는 반면 라울라의 경우 그렇지 않음을 확인하여 실제 전술적 성향을 반영하였다.
• 사용자가 클릭하여 샷 배치 및 복귀 위치 목표를 설정할 수 있는 상호작용 제어가 가능하며, 선수 스프라이트는 이를 실시간으로 반영하여 행동을 조정한다.
• 샷 사이클 상태 기계의 도입으로 클립 검색 비용이 감소하였고, 비디오 시퀀스 내에서 저운동, 고안정성 순간에만 전환을 제한함으로써 시각적 품질이 향상되었다.
• 신경망 기반 이미지 번역 및 환영 기법을 통해 라벨링 오류 및 외형 변화에 강건성을 확보하여 다양한 방송 클립 간 시각 일관성을 유지하였다.