[論文レビュー] A Parameterized Approach to Personalized Variable Length Summarization of Soccer Matches

Mohak Sukhwani, Ravi Kothari|arXiv (Cornell University)|Jun 28, 2017

Video Analysis and Summarization参考文献 16被引用数 4

ひとこと要約

本論文は、試合を「プレー」に時間的セグメンテーションし、ユーザーが指定したユーティリティ重みを各プレー種別に割り当て、バインパッキングを用いてユーザーが定義した時間制限内でユーティリティを最大化する、パrameterizedで最適化駆動のアプローチを提案する。この手法により、時間的整合性を保ちつつ、個々の好みを反映したカスタマイズ性が高く意味的意味を持つ可変長のサッカー試合要約が生成可能となる。

ABSTRACT

We present a parameterized approach to produce personalized variable length summaries of soccer matches. Our approach is based on temporally segmenting the soccer video into 'plays', associating a user-specifiable 'utility' for each type of play and using 'bin-packing' to select a subset of the plays that add up to the desired length while maximizing the overall utility (volume in bin-packing terms). Our approach systematically allows a user to override the default weights assigned to each type of play with individual preferences and thus see a highly personalized variable length summarization of soccer matches. We demonstrate our approach based on the output of an end-to-end pipeline that we are building to produce such summaries. Though aspects of the overall end-to-end pipeline are human assisted at present, the results clearly show that the proposed approach is capable of producing semantically meaningful and compelling summaries. Besides the obvious use of producing summaries of superior league matches for news broadcasts, we anticipate our work to promote greater awareness of the local matches and junior leagues by producing consumable summaries of them.

研究の動機と目的

• 個々のユーザーの好みに基づいて、可変長のサッカー試合要約を生成可能にする。
• デフォルトのプレー重みをユーザーがカスタム優先順位で上書きできるようにする。
• 時間的順序と文脈を保ちつつ意味的に整合性のある要約を生成する。
• エリートレベルおよび地域レベルのサッカー試合に適用可能なスケーラブルで拡張可能なフレームワークを構築する。
• 最小限の人的介入で実現可能なエンド・ツー・エンドの自動要約パイプラインの基盤を構築する。

提案手法

• 視覚的特徴およびオプティカルフロー表現における変化点を用いて、サッカービデオを「プレー」に時間的セグメンテーションする。
• 3フレームの近傍補間を用いた微調整済みYOLOモデルを活用し、選手検出を向上させ、誤検出を低減する。
• 非プレー領域からのノイズを最小限に抑えるために、選手のバウンディングボックスからのみ密集トラジェクトリを計算して各プレーを表現する。
• ユーザーが指定したユーティリティ重みを各プレー種別に割り当て、高い重みは好まれるプレーを示す。
• バインパッキング定式化を適用して、ユーザーが定義した時間制限を超えない範囲で合計ユーティリティを最大化するプレーのサブセットを選択する。
• 最終要約における物語的整合性を保つために、選択されたクリップの時間的順序を保証する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および運動的特徴を用いて、どのようにサッカー試合ビデオを意味的意味のある「プレー」にセグメンテーションできるか？
• RQ2 異なるプレー種別に対して、ユーザーの好みをどのように一貫的にユーティリティ重みとしてエンコードできるか？
• RQ3 バインパッキング最適化アプローチは、ユーザーが指定したユーティリティを最大化する可変長要約を効果的に生成できるか？
• RQ4 フルフレーム表現と比較して、選手のみのトラジェクトリ表現が、イベントセグメンテーションのロバスト性をどのように向上させるか？
• RQ5 意味的品質を維持しつつ、要約パイプラインをどの程度自動化できるか？

主な発見

• 3フレームの近傍補間により、正しく検出された選手バウンディングボックスの割合が12%向上したが、誤検出は最小限に抑えられ、より大きな近傍では性能が劣化した。
• 5、7、9フレームの補間は、それぞれ誤検出率を22%、32%、41%増加させた。これにより、3フレーム補間が最適であることが確認された。
• 選手のみのトラジェクトリ表現により、地面や観客のピxlsからの干渉を排除し、滑らかでより正確なイベントセグメンテーションが実現された。
• バインパッキングアプローチにより、ユーザーが指定したプレーを優先しつつ、時間的順序と意味的整合性を保った要約が成功裏に生成された。
• パイプラインにおける人的支援を最小限に抑えても、本システムは優れた性能を示し、完全な自動化の高い可能性を示した。
• 本手法により、要約長の柔軟な設定が可能であり、1試合だけでなく複数試合の要約（例：トーナメント中の全ゴール）にも対応できる。