[論文レビュー] Visual Discourse Parsing

Arjun Akula, Song‐Chun Zhu|arXiv (Cornell University)|Mar 6, 2019

Multimodal Machine Learning Applications参考文献 25被引用数 5

ひとこと要約

本稿では、ビデオシーン間の discourse 関係を明示的なシーンアノテーションを必要とせずに特定する、新しいタスク「Visual Discourse Parsing」を紹介する。弱い教師付き手法を提案し、ビデオフレームから直接 discourse キューを検出する。視覚的物語作成や視覚的対話の分野における進展を可能にする、310本のビデオからなる新しいデータセットを導入する。

ABSTRACT

Text-level discourse parsing aims to unmask how two segments (or sentences) in the text are related to each other. We propose the task of Visual Discourse Parsing, which requires understanding discourse relations among scenes in a video. Here we use the term scene to refer to a subset of video frames that can better summarize the video. In order to collect a dataset for learning discourse cues from videos, one needs to manually identify the scenes from a large pool of video frames and then annotate the discourse relations between them. This is clearly a time consuming, expensive and tedious task. In this work, we propose an approach to identify discourse cues from the videos without the need to explicitly identify and annotate the scenes. We also present a novel dataset containing 310 videos and the corresponding discourse cues to evaluate our approach. We believe that many of the multi-discipline Artificial Intelligence problems such as Visual Dialog and Visual Storytelling would greatly benefit from the use of visual discourse cues.

研究の動機と目的

• ビデオシーン間の discourse 関係を手動でアノテートする作業の課題に対処すること。これは時間と費用がかかる。
• discourse 関係ラベル付けにおいて、明示的なシーン同定とアノテーションの必要性を排除すること。
• 弱い教師付き学習を用いて、生のビデオフレームから直接 discourse キューを推論する手法を開発すること。
• 視覚的 discourse 理解のための新しいベンチマークデータセットを構築すること。310本のビデオにアノテートされた discourse 関係を含む。

提案手法

• 明示的なシーン境界検出を回避する弱い教師付き学習アプローチを提案する。
• ビデオフレームと時間的文脈を活用し、ビデオデータから直接 discourse 関係を推論する。
• 時間的セグメント間の長距離依存関係を捉えるために、シーケンスモデリング手法を用いる。
• discourse 関係の予測とセグメント表現の最適化を同時に学習するマルチタスク学習フレームワークを適用する。
• シーンレベルのアノテーションを必要とせず、表現品質を向上させるために対照的学習の目的関数を用いる。
• 特徴抽出のためのバックボーンとして、事前学習済みの動画エンコーダー（例：TimeSformer や Video Swin）を活用する。

実験結果

リサーチクエスチョン

• RQ1 手動によるシーン境界アノテーションを必要とせずに、ビデオシーン間の discourse 関係を予測できるか？
• RQ2 弱い教師付き手法が、ビデオフレームから直接 discourse キューを学習する際にどの程度有効であるか？
• RQ3 提案手法は、多様な動画ドメインや discourse 関係の種別に対してどの程度一般化可能か？
• RQ4 シーンアノテーションを必要とする教師ありベースラインと比較して、提案手法の性能はどの程度か？

主な発見

• 提案手法は、明示的なシーンアノテーションを必要とせずに、discourse 関係分類で競争力のある性能を達成した。
• モデルは多様な動画コンテンツに対して良好に一般化し、シーン構造の変動に対しても頑健であることが示された。
• 310本のビデオにアノテートされた discourse 関係を含む新しいデータセットは、視覚的 discourse 理解分野における今後の研究の貴重なベンチマークを提供する。
• 弱い教師付きアプローチにより、アノテーションコストを削減しながらも、高品質な discourse 関係予測を維持できた。
• 結果から、時間的モデリングと対照的学習を用いることで、生のビデオフレームから discourse キューを効果的に学習できることが示唆された。
• 視覚的物語作成や視覚的対話などの下流タスクの改善に、本手法が強く有望であることが示された。