[論文レビュー] MovieNet: A Holistic Dataset for Movie Understanding

Qingqiu Huang, Yu Xiong+3 more|arXiv (Cornell University)|Jul 21, 2020

Human Pose and Action Recognition参考文献 82被引用数 13

ひとこと要約

MovieNet は、1,100部の映画を含み、登場人物、シーン、行動、映画的スタイル、対応する説明にわたり包括的なアノテーションを備えた大規模かつマルチモーダルなデータセットである。このデータセットは、ジャンル分析、登場人物追跡、シーン分割、リtrieval に関するベンチマークを提供し、包括的な映画理解を可能にするが、豊富で包括的なアノテーションにもかかわらず、現在のモデルに顕著なギャップが存在することが明らかになった。

ABSTRACT

Recent years have seen remarkable advances in visual understanding. However, how to understand a story-based long video with artistic styles, e.g. movie, remains challenging. In this paper, we introduce MovieNet -- a holistic dataset for movie understanding. MovieNet contains 1,100 movies with a large amount of multi-modal data, e.g. trailers, photos, plot descriptions, etc. Besides, different aspects of manual annotations are provided in MovieNet, including 1.1M characters with bounding boxes and identities, 42K scene boundaries, 2.5K aligned description sentences, 65K tags of place and action, and 92K tags of cinematic style. To the best of our knowledge, MovieNet is the largest dataset with richest annotations for comprehensive movie understanding. Based on MovieNet, we set up several benchmarks for movie understanding from different angles. Extensive experiments are executed on these benchmarks to show the immeasurable value of MovieNet and the gap of current approaches towards comprehensive movie understanding. We believe that such a holistic dataset would promote the researches on story-based long video understanding and beyond. MovieNet will be published in compliance with regulations at https://movienet.github.io.

研究の動機と目的

• 孤立したタスクにとどまらない包括的映画理解のための、大規模かつマルチモーダルなデータセットの不足を解消すること。
• 物語ベースの長時間動画における、登場人物、シーン、行動、映画的スタイル、対応する説明にわたり、豊富で構造化されたアノテーションを提供すること。
• 登場人物の同一性、シーン境界、映画的スタイルなど、複数の次元にわたる包括的映画理解を評価するベンチマークを確立すること。
• 現在のモデルが物語理解のための複数レベルの意味的・視覚的情報を統合する能力にどの程度制限されているかを明らかにすること。
• 統一的でスケーラブルなデータセットを通じて、動画編集、人間中心の理解、物語ベースの動画分析分野の研究を促進すること。

提案手法

• MovieNet は、3,000時間の動画、390万枚の画像、1,000万文のテキスト、700万件のメタデータを含む、複数モodal にわたる包括的データセットを構築している。
• 110万件のキャラクターインスタンス（ボクシングボックスと識別子付き）、42,000件のシーン境界、65,000件の行動／場所タグ、12,000件の対応する説明文、92,000件の映画的スタイルアノテーションを提供している。
• ジャンル分析、映画的スタイル予測、キャラクター分析、シーン理解、映画セグメントリtrieval といった複数のベンチマークをサポートしている。
• アテンション機構とマルチモーダル埋め込みを用いて、外見、字幕、行動、キャラクター、映画的スタイルの特徴を統合するためのグラフベースのモデルを提案している。
• 特徴抽出には、視覚的特徴にResNet-101、テキストにWord2Vec、行動にTSN特徴、検出されたキャラクターの顔・ボディ特徴に事前学習済みモデルを用いている。
• 関連するセグメント・パラグラフペア間の類似度を最適化するために、マージン α = 0.2 のペアワイズランク損失を用いてモデルを学習している。

実験結果

リサーチクエスチョン

• RQ1 MovieNet のような統合的かつマルチアノテートされたデータセットで学習されたモデルは、包括的映画理解タスクにおいてどの程度の性能を示すのか？
• RQ2 キャラクターの同一性、映画的スタイル、シーン境界といった包括的アノテーションが、物語レベルの動画理解の向上に与える影響は何か？
• RQ3 MovieNet の高品質なアノテーションによって確立されたパフォーマンスの上限と、現在のモデルの性能はどの程度異なるのか？
• RQ4 視覚的、テキスト的、行動的、映画的スタイルといったマルチモーダル特徴が、映画セグメントのリtrieval や理解の向上にどの程度寄与するのか？
• RQ5 映画的スタイルアノテーションの統合により、モデルが物語の重要な瞬間を検出する能力が向上するのか？

主な発見

• MovieNet には1,100部の映画が含まれており、110万件のキャラクターインスタンス、42,000件のシーン境界、65,000件の行動／場所タグ、12,000件の対応する説明文、92,000件の映画的スタイルアノテーションを含み、映画理解分野で最大かつ最も包括的なデータセットである。
• 広範な実験から、最先端モデルと MovieNet のアノテーションによって確立された上限との間には顕著なパフォーマンスギャップが存在することが明らかになり、さらなる改善の余地が大きいことが示された。
• 映画的スタイル特徴の統合により、モデルの注目が物語の重要な瞬間に集中するようになり、物語理解におけるその価値が裏付けられた。
• 外見、字幕、行動、キャラクター同一性といったマルチモーダル特徴は、単一モーダルベースラインと比較して、リtrieval や理解のパフォーマンスを顕著に向上させた。
• アテンション機構を備えた提案されたグラフベースのモデルは、セグメントリtrieval およびキャラクター相互作用モデリングの両面で優れた結果を達成しており、構造的で多段階のアノテーションの有効性が検証された。
• データクローリング、前処理、生成、パースィングをサポートする包括的なツールボックスとともに、データセットとベンチマークは https://movienet.github.io で公開されている。