[論文レビュー] Towards Structured Analysis of Broadcast Badminton Videos

Anurag Ghosh, Suriya Singh+1 more|arXiv (Cornell University)|Dec 23, 2017

Video Analysis and Summarization参考文献 31被引用数 6

ひとこと要約

本稿では、特別なカメラやセンサーを必要とせず、市販のディープラーニングモデルを用いて、放送映像のバドミントン動画を自動的・構造的に分析するエンドツーエンドのフレームワークを提示する。10回のオリンピック競技大会の映像で、ポイント分離精度95.44%、選手特定精度97.98%、ストローク分離編集スコア80.48%を達成し、反応時間、スピード、優位性といった実行可能な指標の計算を可能にする。

ABSTRACT

Sports video data is recorded for nearly every major tournament but remains archived and inaccessible to large scale data mining and analytics. It can only be viewed sequentially or manually tagged with higher-level labels which is time consuming and prone to errors. In this work, we propose an end-to-end framework for automatic attributes tagging and analysis of sport videos. We use commonly available broadcast videos of matches and, unlike previous approaches, does not rely on special camera setups or additional sensors. Our focus is on Badminton as the sport of interest. We propose a method to analyze a large corpus of badminton broadcast videos by segmenting the points played, tracking and recognizing the players in each point and annotating their respective badminton strokes. We evaluate the performance on 10 Olympic matches with 20 players and achieved 95.44% point segmentation accuracy, 97.38% player detection score (mAP@0.5), 97.98% player identification accuracy, and stroke segmentation edit scores of 80.48%. We further show that the automatically annotated videos alone could enable the gameplay analysis and inference by computing understandable metrics such as player's reaction time, speed, and footwork around the court, etc.

研究の動機と目的

• 特別な機器やセンサーを用いずに、非構造的で放送されたバドミントン動画を大規模かつ自動的に分析することを可能にすること。
• 複数のカメラビューとオーバーレイを伴う、高速で遮蔽されやすく複雑なラケットスポーツ映像を分析する課題に対処すること。
• 後続の分析に役立てるために、選手、ポイント、ストロークをフレーム単位で細かくアノテートできるフレームワークを開発すること。
• 反応時間、スピード、フットワーク、優位性といった解釈可能なパフォーマンス指標を、選手および試合評価のための自動的算出を可能にすること。
• ポイントレベルの結果とストロークレベルのトラックを含む、公に利用可能なアノテート済みバドミントン動画データセットの作成

提案手法

• フレーム内の選手を検出・追跡するために、市販のオブジェクト検出モデルを用いる。
• バドミントンのターンベース構造を活用し、動きの手がかりとイベント境界を組み合わせて、試合ポイントの時系列的分離を実施する。
• 選手固有のボクセルを分析する空間的・時系列的アクション認識モジュールを用いて、個々のバドミントンストロークを分類・分離する。
• 外観とトラックの整合性に基づく再識別技術を用いて、フレーム間での選手の同一性を維持する。
• 検出されたコートラインからホモグラフィーを計算し、カメラ座標を上から見たビューに変換することで、正確なスピードおよび変位推定を実現する。
• 相手選手のストロークから次の選手の反応までの時間間隔を測定することで、反応時間を近似する。

実験結果

リサーチクエスチョン

• RQ1 標準的な放送映像と市販のディープラーニングモデルのみを用いて、正確でエンドツーエンドの自動アノテーションが可能かどうか。
• RQ2 非構造的でマルチビューかつ大幅に編集された放送映像において、試合ポイントの分離、選手の追跡、ストローク認識がどの程度達成可能か。
• RQ3 アノテート済みデータから自動的に導出可能な解釈可能なパフォーマンス指標（例：反応時間、スピード、優位性）は何か。これらは選手および試合分析に役立つか。
• RQ4 特別なハードウェアやデータ収集を必要とせず、異なる選手や試合状況に一般化できるか。
• RQ5 このようなシステムが実際の放送環境において、どのような主な失敗モードと制限を示すか。

主な発見

• 10回のオリンピックバドミントン競技大会において、フレームワークはポイント分離で95.44%の精度を達成した。
• 選手検出は平均平均精度（mAP@0.5）97.38%に達し、選手の特定に高い信頼性を示した。
• 選手特定精度は97.98%であり、長時間にわたるシーケンスにおいても追跡と再識別が堅牢であることを示した。
• ストローク分離では編集スコア80.48%を達成し、ストロークイベントの時系列的整合性が良好であることを示した。
• アノテート済みデータから、平均反応時間、選手スピード、優位性パターンといった意味のある指標を正常に算出できた。
• 分析の結果、より長いラリー（ストローク数が多い）は、非優位な試合フェーズでより一般的であることが判明し、ラリー長と試合ダイナミクスの関連性が示唆された。