[論文レビュー] From Trailers to Storylines: An Efficient Way to Learn from Movies

Qingqiu Huang, Yuanjun Xiong+3 more|arXiv (Cornell University)|Jun 14, 2018

Video Analysis and Summarization参考文献 18被引用数 19

ひとこと要約

本論文は、映画予告編から視覚的特徴を学習し、フルムービーから時間的構造を学習する二段階フレームワークを提案する。メタデータと自己教師あり学習を用いることで、トレーニングコストを低減する。大規模データセットを用いた実験により、従来手法と比較して顕著に短いトレーニング時間で優れた性能を達成している。

ABSTRACT

The millions of movies produced in the human history are valuable resources for computer vision research. However, learning a vision model from movie data would meet with serious difficulties. A major obstacle is the computational cost -- the length of a movie is often over one hour, which is substantially longer than the short video clips that previous study mostly focuses on. In this paper, we explore an alternative approach to learning vision models from movies. Specifically, we consider a framework comprised of a visual module and a temporal analysis module. Unlike conventional learning methods, the proposed approach learns these modules from different sets of data -- the former from trailers while the latter from movies. This allows distinctive visual features to be learned within a reasonable budget while still preserving long-term temporal structures across an entire movie. We construct a large-scale dataset for this study and define a series of tasks on top. Experiments on this dataset showed that the proposed method can substantially reduce the training time while obtaining highly effective features and coherent temporal structures.

研究の動機と目的

• 長時間の映画データに対する視覚モデルのトレーニングにおける高い計算コストとアノテーション負荷を軽減すること。
• 視覚的特徴学習と時間的構造学習を分離する代替トレーニングパラダイムを検討すること。
• 508本の映画と34,219本の予告編を含む大規模データセット（LSMTD）を構築し、映画理解研究を支援すること。
• ショット予測やセマンティックタグ付けといったタスクを定義・ベンチマーク化し、モデル性能を評価すること。
• 予告編で視覚モデルをトレーニングし、フルムービーで時間的ダイナミクスを学習することで、効果的で効率的なモデルが得られることを示すこと。

提案手法

• フレームワークは視覚的特徴学習（予告編から）と時間的モデリング（フルムービーから）を分離し、計算負荷を低減する。
• 視覚的特徴は、ジャンルやストーリーのキーワードなどのメタデータを弱教師信号として用いて学習する。
• 時間的モデリングには自己教師あり目的関数を採用：残りのショットを入力として与えたもとで、欠落したショットを予測する。
• 二段階トレーニングパイプラインでは、まず予告編で視覚エンコーダーをトレーニングし、次に抽出された特徴を用いてフルムービーで時間的ネットワークをファインチューニングする。
• 視覚モデルは時間的モデルよりも重いため、予告編ベースの事前学習が計算的に実行可能であるという事実を活用する。
• 2,200時間以上の動画を含む大規模データセット（LSMTD）を構築し、508本のフルムービーと34,219本の予告編を収録し、ベンチマークを支援する。

実験結果

リサーチクエスチョン

• RQ1 予告編から学習した視覚表現は、フルムービーで学習したものと同等の意味的コンテンツを効果的に捉えられるか？
• RQ2 フルムービーで学習した自己教師あり時間的モデルは、視覚的特徴から一貫性のあるストーリーを再構築できるか？
• RQ3 予告編ベースの視覚学習とムービー基盤の時間的学習を組み合わせることで、フルムービーでエンドツーエンドトレーニングするのと比較して性能が向上するか？
• RQ4 トレーニング用の予告編の規模が、視覚的表現の質と下流タスクの性能にどのように影響するか？
• RQ5 提案されたフレームワークは、顕著に短いトレーニング時間で映画理解タスクにおいて高い性能を達成できるか？

主な発見

• 33,000本の予告編でトレーニングしたモデルは、'Cross Movie'設定でショット予測精度82.5%を達成し、ベースラインを上回った。
• 予告編でトレーニングした視覚モデル（例：'trailer 33K'）は、タイタニックでの定性的分析で、フルムービーでトレーニングしたモデルよりもより正確な意味的応答を示した。
• より多くの予告編でトレーニングすることで性能が向上し、33,000本の予告編でトレーニングした場合に、'Cross Movie'ショット予測で82.5%の精度に到達した。
• 自己教師あり時間的モデルは、単純な特徴平均化ベースラインを著しく上回り、長期的な時間的構造を効果的に捉えていることが示された。
• 予告編でトレーニングすることで、タグ付けおよびショット予測タスクの性能を維持または向上させながら、計算コストを低減した。
• フレームワークは、映画Q&Aおよびショット予測ベンチマークで最先端の結果を達成し、その効率性と有効性を検証した。