[論文レビュー] Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books

Yukun Zhu, Ryan Kiros+5 more|arXiv (Cornell University)|Jun 22, 2015

Multimodal Machine Learning Applications参考文献 34被引用数 298

ひとこと要約

本稿では、視覚的、言語的、会話的信号を活用して、映画のショットと書籍の対応する段落をアライメントする条件付きランダムフィールド（CRF）ベースのモデルを提案する。本手法は、クロスモodalアライメントを統合的にモデル化することで物語に似た視覚的説明を生成する。主な結果として、会話のグランドトゥース（接地）によりアライメントの正確性が向上し、より広範な書籍コーパス（200冊）から借用することで一貫性が向上することが示された。

ABSTRACT

Books are a rich source of both fine-grained information, how a character, an object or a scene looks like, as well as high-level semantics, what someone is thinking, feeling and how these states evolve through a story. This paper aims to align books to their movie releases in order to provide rich descriptive explanations for visual content that go semantically far beyond the captions available in current datasets. To align movies and books we exploit a neural sentence embedding that is trained in an unsupervised way from a large corpus of books, as well as a video-text neural embedding for computing similarities between movie clips and sentences in the book. We propose a context-aware CNN to combine information from multiple sources. We demonstrate good quantitative performance for movie/book alignment and show several qualitative examples that showcase the diversity of tasks our model can be used for.

研究の動機と目的

• 映画のショットと書籍の対応するナラティブ段落をアライメントすることで、物語に似た視覚的説明を可能にすること。
• 視覚的信号が弱い動画の課題に対処するため、言語的および会話的コンテンツを活用してグランドトゥースを実現すること。
• モデルが関連のない書籍から選択を強いられる状況で、意味のあるクロスブックアライメントが出現するかを検証すること。
• 候補となる書籍の数を増やすことで、アライメント品質および物語の一貫性に与える影響を評価すること。

提案手法

• 映画のショットと書籍の段落間の順序的依存関係をモデル化するために、条件付きランダムフィールド（CRF）を用いる。
• 視覚的、言語的、字幕特徴に基づいて、ビデオショットと書籍の段落間の類似度スコアを計算するために文脈を考慮したCNNを採用する。
• 視覚的特徴が曖昧な場合に特に有効な強力な信号として、会話のトランスクリプトを統合する。
• 関連しない書籍を含む多様な書籍から、ゼロショットアライメントを実現する。
• 2つの実験を実施：10冊（候補書籍が限定的）および200冊（広範なコーパス）の設定を用い、一般化性能と一貫性を評価する。
• フレームレベルの視覚的特徴と字幕の重複度を用いて、CRFフレームワーク内でのショット-段落アライメントを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的、言語的、会話的信号の統合モデルは、映画のショットと書籍の段落を効果的にアライメントできるか？
• RQ2 視覚的特徴が弱い状況で、映画と書籍の会話の一貫性が、アライメント精度をどのように向上させるか？
• RQ3 関連のない書籍から段落を借用することで、モデルは説得力のある物語に似た説明を生成できるか？
• RQ4 候補となる書籍の数を10冊から200冊に増やすことで、より一貫性があり意味のあるクロスブックアライメントが得られるか？
• RQ5 文脈を考慮した言語的特徴は、視覚的文書のアライメントを解消するために果たす役割は何か？

主な発見

• 映画の会話が書籍のテキストに近く、一致する場合、視覚的コンテンツのグランドトゥースを強化することで、アライメントの正確性が著しく向上する。
• 10冊の実験では、関連のない書籍からの上位スコアのマッチングで類似度が低く、広範な文脈がないと一貫性が限られることが示された。
• 200冊の実験では、モデルが次第に一貫性があり物語に似たアライメントを生成しており、より広範な書籍コーパスが物語の妥当性を高めることを示唆している。
• CRFモデルは、周囲の段落からの文脈的ヒントを活用することで、個々のショット-書籍マッチングを超えてアライメントの正確性を向上させた。
• 視覚的特徴と字幕特徴だけでは、強力なアライメントには不十分であり、会話の一貫性がグランドトゥースにとって重要な信号である。
• モデルは、元の書籍が映画と一致しなくても、多様な書籍コーパスから借用することで、説得力があり物語に似た説明を生成する能力を示した。