[論文レビュー] Vid2Player: Controllable Video Sprites that Behave and Appear like Professional Tennis Players

Haotian Zhang, Cristobal Sciutto+2 more|arXiv (Cornell University)|Aug 11, 2020

Video Analysis and Summarization参考文献 32被引用数 10

ひとこと要約

Vid2Player は、アノテートされた放送映像から選手の行動と外見をモデル化することで、プロテニス選手のインタラクティブで現実的なビデオスプライトを生成する。ショットサイクル状態遷移図とデータ駆動型のショット配置・コートポジショニングの行動モデルを用い、実在の対戦がなかった場合の架空のマッチアップを含む、新たな現実的なテニスポイントを合成可能であり、スケールに応じたインタラクティブ制御と現実的なラリーのダイナミクスを実現する。

ABSTRACT

We present a system that converts annotated broadcast video of tennis matches into interactively controllable video sprites that behave and appear like professional tennis players. Our approach is based on controllable video textures, and utilizes domain knowledge of the cyclic structure of tennis rallies to place clip transitions and accept control inputs at key decision-making moments of point play. Most importantly, we use points from the video collection to model a player's court positioning and shot selection decisions during points. We use these behavioral models to select video clips that reflect actions the real-life player is likely to take in a given match play situation, yielding sprites that behave realistically at the macro level of full points, not just individual tennis motions. Our system can generate novel points between professional tennis players that resemble Wimbledon broadcasts, enabling new experiences such as the creation of matchups between players that have not competed in real life, or interactive control of players in the Wimbledon final. According to expert tennis players, the rallies generated using our approach are significantly more realistic in terms of player behavior than video sprite methods that only consider the quality of motion transitions during video synthesis.

研究の動機と目的

• 実在のアスリートのように振る舞う、インタラクティブで視覚的に現実的なプロテニス選手のビデオスプライトを生成すること。
• 実際の試合データを用いて、ショット選択やコートポジショニングなどの選手行動をモデル化し、戦略的リアリズムを確保すること。
• 実際に対戦したことがない選手間、例えば架空のマッチアップを含め、新たなテニスポイントを生成できること。
• ポイント合成中に、ショット配置とリカバリー位置のインタラクティブ制御を可能にすること。
• 動きの質を凌駕するマクロレベルの戦術的行動を統合することで、ビデオスプライトのリアリズムを向上させること。

提案手法

• システムはショットサイクル状態遷移図を用い、ラリー内の重要な意思決定ポイントで遷移が発生するように、個々のショットレベルでのビデオ合成を構造化する。
• アノテート済みの放送映像から選手固有の行動モデルを構築し、相手選手や試合状況を考慮してショット配置とコートポジショニングを予測する。
• 視覚的品質と予測された行動に基づいて動画クリップを選択する制御可能ビデオテクスチャーシステムを採用し、現実的な運動と戦略を保証する。
• ニューラル画像対画像変換により、試合日ごとの外見のばらつきを補正し、単一視点放送映像における部分的遮蔽に対処する。
• ドメインに適したビデオ合成により、ノイズの多いコンピュータビジョンのアノテーション（例：ポーズ推定誤差）に対しても耐性を確保する。
• ユーザー入力により、希望のショット配置（赤い点）とリカバリー位置（青い四角）を設定し、リアルタイムで行動モデルをガイドするインタラクティブ制御を実装する。

実験結果

リサーチクエスチョン

• RQ1 ビデオスプライトは、現実的な動きを模倣するだけでなく、実際のプロテニス選手が示す戦術的行動も再現できるか？
• RQ2 テニスラリー構造に関するドメイン知識を活用することで、ビデオスプライト合成のリアリズムと効率性をどのように向上させられるか？
• RQ3 ショット選択とコートポジショニングのデータ駆動型行動モデルが、合成されたテニスポイントのマクロレベルのリアリズムをどの程度向上できるか？
• RQ4 実際に対戦したことがない選手間で、現実的で新たなテニスマッチを生成できるか？
• RQ5 インタラクティブなユーザー制御は、視覚的および戦略的妥当性を維持したまま、ビデオスプライト行動を効果的にガイドできるか？

主な発見

• システムは、ロジャー・フェデラー 対 サーラ・ウィリアムズ など、実在の選手同士でかつて対戦がなかった組み合わせを含め、新たなテニスポイントを成功裏に生成し、視覚的および行動的に妥当な結果を得た。
• 専門家テニス選手の評価では、Vid2Player が生成したラリーは、単に動きの遷移品質に注目するベースライン手法よりも、選手行動の点で著しく現実的であった。
• 行動モデルの分析から、ノバク・ジョコビッチ は ラファエル・ナダル よりも フェデラー の弱いバックハンドサイドをより頻繁に狙うという、実際の戦術的傾向を反映した明確な戦術的差異が明らかになった。
• ユーザーがクリックしてショット配置とリカバリー位置の目標を設定できるインタラクティブ制御が可能であり、プレイヤーのスプライトがその都度即座に行動を適応する。
• ショットサイクル状態遷移図の導入により、クリップ検索コストが削減され、動画シーケンス内の低運動量・高安定性の瞬間にのみ遷移を制限することで視覚的品質が向上した。
• ニューラル画像変換とハロシネーション技術を用いることで、アノテーション誤差や外見のばらつきに対しても耐性を示し、多様な放送クリップ間で視覚的一致性を維持した。