[論文レビュー] Real-Time Video Highlights for Yahoo Esports

Yale Song|arXiv (Cornell University)|Nov 27, 2016

Video Analysis and Summarization参考文献 16被引用数 15

ひとこと要約

本論文は、CNNベースの視覚的分類器を用いたリアルタイムで段階的な深層学習アプローチを提案し、eスポーツ動画のハイライト検出を実現している。非ゲームシーンを事前にフィルタリングし、その後でゲームプレイフレーム内でのハイライト検出を行うことで、Yahoo Esportsのプロダクション環境で実用可能であることが示された。1つのCPU上で18 FPSを達成し、3つの人気ゲーム（Heroes of the Storm、League of Legends、Dota 2）において平均適合率83.18%を達成した。

ABSTRACT

Esports has gained global popularity in recent years and several companies have started offering live streaming videos of esports games and events. This creates opportunities to develop large scale video understanding systems for new product features and services. We present a technique for detecting highlights from live streaming videos of esports game matches. Most video games use pronounced visual effects to emphasize highlight moments; we use CNNs to learn convolution filters of those visual effects for detecting highlights. We propose a cascaded prediction approach that allows us to deal with several challenges arise in a production environment. We demonstrate our technique on our new dataset of three popular game titles, Heroes of the Storm, League of Legends, and Dota 2. Our technique achieves 18 FPS on a single CPU with an average precision of up to 83.18%. Part of our technique is currently deployed in production on Yahoo Esports.

研究の動機と目的

• ライブeスポーツストリーミング向けに、プロダクションの性能要件を満たすリアルタイムの動画ハイライト生成システムを開発すること。
• インタビュー広告など非ゲームシーンが多数含まれるeスポーツ動画コンテンツの高変動性に起因する課題に対処すること。
• ハイライト分類の前に非ゲームプレイフレームをフィルタリングすることで、ハイライト検出の正確性を向上させること。
• シーケンスベースのモデルではなく、フレームベースのCNNを用いてスケーラブルで効率的かつデプロイ可能なシステムを構築すること。
• 訓練および評価用に使用可能な、300時間以上のフレームレベルのアノテーションが施された大規模なデータセットを構築すること。

提案手法

• 段階的な予測フレームワークとして、2つのCNNベースの分類器（シーンタイプ分類器とハイライト検出器）を用いる。
• シーンタイプ分類器は、フレームを「ゲームプレイ」「ゲームリプレイ」「キャラクター選択」「その他（非ゲーム）」の4つに分類する。
• ゲームプレイと分類されたフレームのみがハイライト分類器に渡され、0〜1の正規化された信頼度スコアを出力する。
• 処理速度を向上させるために、5フレームに1回の間隔で処理を行い、元のフレームレートに線形補間することでリアルタイム性能を維持する。
• ベースとなるCNNアーキテクチャとして、バッチ正規化を適用したAlexNetを用い、CaffeOnSpark上でADAM最適化子を用いてトレーニングから再学習を実施した。
• 2段階のアノテーションスキームにより、訓練および評価用に300時間以上のフレームレベルのアノテーションが施された動画データを効率的に収集した。

実験結果

リサーチクエスチョン

• RQ1 段階的な深層学習アプローチは、単一モデルベースラインと比較して、多様なeスポーツライブストリーミング動画におけるハイライト検出精度を向上させることができるか？
• RQ2 非ゲームプレイシーンを事前にフィルタリングすることで、誤検出の削減とハイライト検出性能の向上がどの程度達成できるか？
• RQ3 補間を用いたフレームベース処理は、CPU上でリアルタイム推論を達成しつつ、精度をどの程度維持できるか？
• RQ4 分類（二値分類 vs. 回帰）の選択が、特にクラス不均衡が顕著な状況下でハイライト検出性能に与える影響は何か？
• RQ5 1つのゲームジャンルで学習した単一モデルが、同じジャンル（例：MOBAゲーム）内の異なるeスポーツタイトルに一般化できるか？

主な発見

• 提案された段階的な二値分類アプローチは、Heroes of the Stormデータセットで83.18%の平均適合率と86.29%の再現率を達成し、すべてのベースラインを上回った。
• 段階的な設計により、単一モデルアプローチと比較して平均適合率が20ポイント以上向上し、シーンフィルタリングの価値が裏付けられた。
• システムは1つのCPU上で18 FPSを達成し、ライブストリーミング動画のリアルタイム処理要件を満たした。
• 回帰ベースのハイライト検出器は、非ハイライトフレームがハイライトフレームより100:1以上多い深刻なクラス不均衡の影響を受けて、特に再現率が著しく低かった。
• シーンタイプ分類器は99%を超えるAPと再現率を達成し、ゲームと非ゲームシーンの区別が相対的に簡単であるが、極めて重要な前処理ステップであることが確認された。
• 300時間を超えるフレームレベルのアノテーションが施されたeスポーツ動画データセットは、将来のトランスファーラーニングやマルチモーダル動画解析分野における貴重なベンチマークを提供する。