[論文レビュー] Moviescope: Large-scale Analysis of Movies using Multiple Modalities

Paola Cascante-Bonilla, K. Sitaraman+2 more|arXiv (Cornell University)|Aug 8, 2019

Video Analysis and Summarization参考文献 39被引用数 14

ひとこと要約

本稿では、5,000部の映画を対象に、動画トレーラー、音声、ポスター、あらすじ、メタデータを含む大規模なマルチモーダルデータセットMoviescopeを紹介し、平均プーリングを用いたシンプルで効果的な符号化手法（fastVideoおよびfastText）を提案する。コンテンツベースの特徴量（特に音声とテキスト）が、予算予測においてメタデータを上回ることを示し、マルチモーダル融合によりジャンル予測が向上し、深層学習モデルがテキストおよび動画入力において人間の性能を同等または上回ることを示している。

ABSTRACT

Film media is a rich form of artistic expression. Unlike photography, and short videos, movies contain a storyline that is deliberately complex and intricate in order to engage its audience. In this paper we present a large scale study comparing the effectiveness of visual, audio, text, and metadata-based features for predicting high-level information about movies such as their genre or estimated budget. We demonstrate the usefulness of content-based methods in this domain in contrast to human-based and metadata-based predictions in the era of deep learning. Additionally, we provide a comprehensive study of temporal feature aggregation methods for representing video and text and find that simple pooling operations are effective in this domain. We also show to what extent different modalities are complementary to each other. To this end, we also introduce Moviescope, a new large-scale dataset of 5,000 movies with corresponding movie trailers (video + audio), movie posters (images), movie plots (text), and metadata.

研究の動機と目的

• 映画理解のための包括的かつ大規模なマルチモーダルデータセットの構築を目的とし、5,000部の映画について動画トレーラー、音声、ポスター、あらすじ、メタデータを含む。
• ジャンルや予算などの高レベルな映画属性を予測する際、視覚的、音声的、文書的、メタデータベースの特徴量の有効性を評価すること。
• コンテンツベースの表現（動画、音声、テキスト）が、メタデータや人間の判断を上回る可能性があるかどうかを検証すること。
• LSTMのような複雑なモデルと比較して、平均プーリングのようなシンプルな特徴集約手法（fastVideo、fastText）が、マルチモーダルな動画およびテキスト表現においてどれほど有効であるかをベンチマークすること。

提案手法

• 動画トレーラーを固定長の埋め込みに変換するためのfastVideoを提案。フレームレベル特徴量の平均プーリングを用いる。
• 映画のあらすじから得られる単語レベルの埋め込みを平均プーリングすることで、テキスト符号化にfastTextを採用する。
• 5,000部の映画について、動画トレーラー、映画ポスター、あらすじ、メタデータの間の明確なマッピングを備えたMoviescopeという新規データセットを構築する。
• 動画、音声、テキスト、ポスター、メタデータの特徴量を、ラテン結合を伴う後期統合（late fusion）戦略を用いてマルチモーダル統合する。
• 動画モalityのベースライン特徴量としてI3D、音声モダリティのベースラインとして音声埋め込みを採用する。
• アマゾンMechanical Turkを用いたユーザースタディを通じて、異なるモダリティにおけるジャンル分類において、人間の性能とモデルの予測を比較する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツベースの特徴量（動画、音声、テキスト）は、ジャンルや予算といった高レベルな映画属性を効果的に予測できるか。また、メタデータや人間の判断を上回るか。
• RQ2 動画およびテキスト表現における、より複雑なRNNベースのモデルと比較して、単純なプーリングベースの符号化手法（fastVideo、fastText）はどれほど有効か。
• RQ3 動画、音声、テキスト、ポスター、メタデータといった異なるモダリティは、映画属性の予測においてどの程度補完的か。
• RQ4 異なるモダリティを用いた際、深層学習モデルのジャンル分類性能は人間の性能と比べてどうか。
• RQ5 映画トレーラーの音声は、視覚的コンテンツと比較して、予算推定においてより強い信号を提供するか。

主な発見

• 予算推定において、映画トレーラーからの音声特徴量が最も高いmAP（35.7％）を達成し、動画（32.9％）およびテキスト（36.1％）を上回った。
• メタデータ特徴量が、予算予測において最も高い正確性（91.0％ mAP）を示し、すべてのコンテンツベースのモダリティを顕著に上回った。
• fastVideoおよびfastText符号化は、競争力のある性能を示し、一部のケースでI3Dベースのモデルを上回り、ジャンル分類においてLSTMベースのアプローチと同等または上回った。
• 動画分類において、人間の性能（63.0 mAP）はモデル（VAPTM：68.6 mAP）を下回ったが、テキスト分類ではモデル（72.7 mAP）が人間（非視聴者：69.7 mAP）を上回った。
• 動画、音声、テキスト、ポスター、メタデータのすべてのモダリティを統合したモデルが、ジャンル予測で最高のmAP（75.3％）を達成し、モダリティ間の強い補完性を示した。
• ジャンルと予算層級の間に強い相関は認められなかった。ファンタジーとアクションは高予算層に多く見られるが、SFはすべての層に分布しており、ジャンルと予算の関係は複雑であることが示唆された。