[論文レビュー] Video Highlight Prediction Using Audience Chat Reactions

Cheng-Yang Fu, Joon Lee+2 more|arXiv (Cornell University)|Jul 26, 2017

Video Analysis and Summarization参考文献 29被引用数 8

ひとこと要約

本稿では、Twitch.tvの配信から得た新規データセットを用い、『リーグ・オブ・レジェンダーズ』のeSports対戦映像と、英語および繁体字中国語のリアルタイム視聴者チャット反応を統合したマルチモーダル手法を提案する。視覚的特徴と言語的特徴を統合した新たなキャラクターレベルのCNN-RNNモデルにより、74.8%のF1スコアを達成し、単一モダリティのモデルを上回った。言語的文脈が、難解な視覚的ハイライトを解釈するのを支援することが示された。

ABSTRACT

Sports channel video portals offer an exciting domain for research on multimodal, multilingual analysis. We present methods addressing the problem of automatic video highlight prediction based on joint visual features and textual analysis of the real-world audience discourse with complex slang, in both English and traditional Chinese. We present a novel dataset based on League of Legends championships recorded from North American and Taiwanese Twitch.tv channels (will be released for further research), and demonstrate strong results on these using multimodal, character-level CNN-RNN model architectures.

研究の動機と目的

• リアルタイム視聴者チャットの議論を、文脈的でマルチモーダルな信号として活用することで、eSportsにおける自動動画ハイライト予測の課題に取り組むこと。
• Twitch.tvの配信から得た、英語（NALCS）および繁体字中国語（LMS）のハイライトアノテート済み試合データの新規大規模多言語データセットの作成と公開。
• 視覚的映像特徴と視聴者チャット反応のテキストを統合して分析するマルチモーダルモデルのハイライト予測への有効性を評価すること。
• ファンのチャットから得られる言語的手がかりが、視覚のみのハイライト検出を向上させ、特に曖昧または複雑なゲーム瞬間において有効であるかどうかを検証すること。
• 英語と繁体字中国語の単一言語モデルの性能差を調査し、チャットのボリュームと言語的複雑さがモデルの正確性に与える影響を評価すること。

提案手法

• 著者らは、Twitch.tvのライブ配信における『リーグ・オブ・レジェンダーズ』試合から、コミュニティが作成したハイライトを正例として使用し、ハイライトクリップを収集・アノテートした。
• 映像特徴は、動画クリップに3次元畳み込みニューラルネットワーク（V-CNN）を適用して抽出し、チャットテキストは、スラングや多言語表現を含む言語的パターンを捉えるためにキャラクターレベルのLSTM（L-Char-LSTM）で処理した。
• モデルは、正例5,000フレームと負例5,000フレームを1エポックごとにバランス採番し、バッチサイズ32で60エポックにわたり交差エントロピー損失関数を用いて学習した。
• マルチモーダル統合のため、視覚的特徴と言語的特徴を連結し、2層の多層パーセプトロン（MLP）に通すことで、視覚と言語を統合してハイライトフレームを予測する$lv$-LSTMモデルを構築した。
• 分離モデル（映像のみ、チャットのみ、統合入力）を別々に学習し、精度、再現率、F1スコアを用いて性能を評価するアブレーションスタディを実施した。
• サブワードレベル表現の影響を評価するため、キャラクターレベルLSTMとワードレベルLSTMを比較した。

実験結果

リサーチクエスチョン

• RQ1 複数の言語（英語および繁体字中国語）で記されたリアルタイム視聴者チャット反応は、eSportsの動画ハイライト予測に有用な文脈的信号を提供できるか？
• RQ2 視覚的および言語的特徴を統合したマルチモーダルモデルの性能は、映像のみまたはチャットのみで学習した単一モダリティモデルと比べてどうか？
• RQ3 スラングや非標準スペルを含む多言語チャットデータに対して、キャラクターレベルモデリングはワードレベルモデリングに比べて性能を向上させるか？
• RQ4 言語的多様性とチャットボリュームが、特に低リソース環境（繁体字中国語）においてモデル性能にどの程度影響を与えるか？
• RQ5 ファンのコメンテートから得られる言語的手がかりは、コンピュータビジョンのみで処理するのが難しい曖昧な視覚的ハイライト検出を解消するのに役立つのか？

主な発見

• 視覚的特徴と言語的特徴を統合したマルチモーダル$lv$-LSTMモデルは、テストセットで最高のF1スコア74.8%を達成し、両方の単一モダリティモデルを上回った。
• 視覚のみのV-CNN-LSTMモデルは、ハイライトクリップの最後25%でF1スコア68.3%を記録し、ゲームアニメーションの複雑さにもかかわらず、強力な視覚的性能を示した。
• 言語のみのL-Char-LSTMモデルは、ハイライトフレームの100%を使用した場合にF1スコア19.6%であったが、最後の25%のみを使用した場合に41.5%に向上し、時間的文脈が言語モデリングにおいて重要であることが示された。
• L-Char-LSTMモデルは、L-Word-LSTMモデルを22.3%のF1スコアの差で上回った。これは、キャラクターレベルモデリングが多言語チャットにおけるスラングやレア語の処理に効果的であることを示している。
• LMS（繁体字中国語）データセットではL-Char-LSTMモデルが39.7%のF1スコアを達成したが、NALCS（英語）データセットの43.2%より低く、言語固有の処理課題が存在することが示された。
• NALCS（英語）データセットではチャットボリュームが高かったが、L-Char-LSTMモデルの性能がLMSより優れていた。これは、言語的コンテンツと構造が、単なるボリュームよりもモデル性能に大きな影響を与えることを示している。