[論文レビュー] Leveraging Contextual Cues for Generating Basketball Highlights

Vinay Bettadapura, Caroline Pantofaru+1 more|arXiv (Cornell University)|Jun 29, 2016

Video Analysis and Summarization参考文献 17被引用数 5

ひとこと要約

本論文では、交差検証を用いて学習された重み付き和モデルを用いて、映像的特徴（動き）とゲーム環境からの文脈的特徴（音声、スコア差、選手ランク、シュートの種別など）を組み合わせることで、自動的に高品質なバスケットボールハイライトを生成する手法を提案している。ユーザースタディーの結果、システムが生成するハイライトは、ESPNが手作業で編集したハイライトと同等の「興奮度」を示している。

ABSTRACT

The massive growth of sports videos has resulted in a need for automatic generation of sports highlights that are comparable in quality to the hand-edited highlights produced by broadcasters such as ESPN. Unlike previous works that mostly use audio-visual cues derived from the video, we propose an approach that additionally leverages contextual cues derived from the environment that the game is being played in. The contextual cues provide information about the excitement levels in the game, which can be ranked and selected to automatically produce high-quality basketball highlights. We introduce a new dataset of 25 NCAA games along with their play-by-play stats and the ground-truth excitement data for each basket. We explore the informativeness of five different cues derived from the video and from the environment through user studies. Our experiments show that for our study participants, the highlights produced by our system are comparable to the ones produced by ESPN for the same games.

研究の動機と目的

• 手作業で編集されたスポーツハイライトのスケーラビリティと品質の限界を是正するため、ハイライト生成プロセスを自動化すること。
• 視覚的特徴に加えて、ゲーム環境からの文脈的特徴（たとえば音声、スコア差、選手統計）がハイライト品質を向上させられるかどうかを検討すること。
• 環境的特徴と視覚的特徴の組み合わせを用いて、バスケットシュートの「興奮度」をランク付けするシステムを開発すること。
• ユーザースタディーを用いて、プロのハイライトと比較してシステムの性能を評価すること。
• 25試合分のNCAAデータセット（1,173本のシュート、プレイバイプレイ統計、真値の興奮度スコアを含む）をリリースし、研究利用を目的とする。

提案手法

• システムは5つの特徴を抽出する：動き（映像から）、音声（観客や解説者から）、スコア差、選手ランク、シュート種別（たとえばダンク対レイアップ）。
• 各特徴は、試合内のすべてのシュートに対して数値的な「興奮度スコア」に変換される。
• 重み付き和モデルがこれらの特徴を組み合わせ、最終的な興奮度スコアを算出する。重みは、データセット上で25-fold交差検証を用いて学習される。
• ハイライトは、組み合わせた興奮度スコアで上位n本のシュートを選択し、時系列順に編集することで生成される。
• 真値の興奮度データは、Amazon Mechanical Turk上で実施されたペアワイズA/Bユーザースタディーを用いて収集された。参加者は2つのシュートを比較し、より興奮する方を選択した。
• システムの性能は、追加のA/Bスタディーを用いて、その出力とESPNのハイライト、およびランダムハイライトを比較して評価された。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴に加えて、ゲーム環境からの文脈的特徴（例：音声、スコア、選手統計）を用いることで、視覚的特徴のみを用いる場合と比較して、自動ハイライト生成の精度が向上するか？
• RQ2 個々の文脈的特徴（例：音声、スコア差）は、人間が感じる「興奮度」を予測するためにどの程度有効か？
• RQ3 学習された重み付きモデルを用いて複数の特徴を組み合わせることで、プロが編集したESPNのハイライトと同等の品質のハイライトが生成できるか？
• RQ4 ユーザーの好みにおいて、ランダムハイライト選択と比較して、本システムの性能はどの程度優れているか？
• RQ5 音声と映像のモダリティが、人間がバスケットボールハイライトの「興奮度」をどのように認識するかに、それぞれどの程度寄与しているか？

主な発見

• 特徴の組み合わせモデルは、個々の特徴よりもユーザーが感じる「興奮度」を予測する上で顕著に優れており、ユーザースタディーにおいて高い一致度を示した。
• ユーザースタディーの結果、10試合中7試合でシステムが生成したハイライトがランダムハイライトよりも好まれ、全ユーザーの中央値として61.29%の一致度が得られた。
• バスケットボールファンの間では、10試合中8試合でシステムのハイライトがランダムハイライトよりも好まれ、中央値の一致度は53.33%であった。
• ESPNのハイライトは、10試合中7試合でランダムハイライトよりも好まれた（中央値一致度54.84%）。これは、興奮度が主観的であるため、ランダムハイライトでさえ中程度の性能を示していることを示している。
• 音声のみと映像のみのA/Bテストを個別に実施した結果、一致度が著しく低下した（80%から59.7%および59.82%に低下）。これは、両方のモダリティが信頼できる「興奮度」認識に不可欠であることを示している。
• ユーザースタディーの結果、システムが生成したハイライトは、ESPNの手作業で編集されたハイライトと同等の品質であることが確認され、複数の比較において統計的に有意な優位性が得られた。