[論文レビュー] DramaQA: Character-Centered Video Story Understanding with Hierarchical QA

Seong-Ho Choi, Kyoung-Woon On+5 more|arXiv (Cornell University)|May 7, 2020

Multimodal Machine Learning Applications参考文献 51被引用数 10

ひとこと要約

DramaQAは、認知発達段階に基づく階層的質問応答（QA）を特徴とする、キャラクター中心の動画物語理解ベンチマークを導入し、視覚的バウンディングボックス、感情、行動、共参照スクリプトを含む豊富なアノテーションとともに、4つの難易度レベルで17,983組のQAを提供する。提案されたマルチレベルコンテキストマッチングモデルは、低レベルおよび高レベルの表現を活用して複雑な質問における推論を向上させ、本データセットで最先端のパフォーマンスを達成し、より難しいQAレベルで顕著な向上を示した。

ABSTRACT

Despite recent progress on computer vision and natural language processing, developing a machine that can understand video story is still hard to achieve due to the intrinsic difficulty of video story. Moreover, researches on how to evaluate the degree of video understanding based on human cognitive process have not progressed as yet. In this paper, we propose a novel video question answering (Video QA) task, DramaQA, for a comprehensive understanding of the video story. The DramaQA focuses on two perspectives: 1) Hierarchical QAs as an evaluation metric based on the cognitive developmental stages of human intelligence. 2) Character-centered video annotations to model local coherence of the story. Our dataset is built upon the TV drama "Another Miss Oh" and it contains 17,983 QA pairs from 23,928 various length video clips, with each QA pair belonging to one of four difficulty levels. We provide 217,308 annotated images with rich character-centered annotations, including visual bounding boxes, behaviors and emotions of main characters, and coreference resolved scripts. Additionally, we suggest Multi-level Context Matching model which hierarchically understands character-centered representations of video to answer questions. We release our dataset and model publicly for research purposes, and we expect our work to provide a new perspective on video story understanding research.

研究の動機と目的

• 人間の認知発達段階を反映する包括的な動画物語理解ベンチマークの開発。
• 既存の動画QAデータセットにおける系統的な難易度スケーリングの欠如に応じ、記憶容量と論理的複雑さに基づく4つの階層的難易度レベルを導入すること。
• 視覚的・言語的アノテーション（バウンディングボックス、感情、行動、共参照スクリプトを含む）を通じたキャラクター中心の物語の一貫性の実現。
• 低レベルの視覚的詳細と高レベルの物語的推論を組み合わせたマルチレベルモデリングアプローチの提案により、QAパフォーマンスの向上を図ること。
• マルチモーダル動画理解と推論分野の研究を促進するため、公開可能なデータセットとモデルの提供。

提案手法

• データセットはテレビドラマ『Another Miss Oh』に基づき、23,928本の動画クリップと17,983組のQAペアを含み、ピアジェの認知発達段階に基づき4つの難易度レベルに割り当てられている。
• 各QAペアは、キャラクター中心のアノテーション（視覚的バウンディングボックス、感情状態、行動、共参照スクリプト）と関連付けられ、物語の一貫性を保証する。
• マルチレベルコンテキストマッチングモデルは2段階の抽象化レベルを用いる：動画フレームとスクリプトからの低レベル表現、および集約されたコンテキストからの高レベル表現。
• モデルは両レベルで質問コンテキストを動画、スクリプト、キャラクター表現と照合するためのラテン相互作用機構を採用し、階層的推論を可能にする。
• スクリプトにおける共参照解決により、会話内での同一キャラクターの言及を統一し、視覚的アノテーションとの整合性を向上させる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、4つの難易度レベルにおける正答率を評価指標として用い、推論の深さを測定する。

実験結果

リサーチクエスチョン

• RQ1 認知発達に基づく質問難易度の階層を用いることで、動画物語理解はどのように評価可能となるか？
• RQ2 キャラクター中心の視覚的・言語的アノテーションは、複雑な動画QAタスクにおけるモデルパフォーマンスをどの程度向上させるか？
• RQ3 低レベルの詳細と高レベルの物語的コンテキストを統合したマルチレベル表現学習は、階層的QAタスクにおける推論をどのように向上させるか？
• RQ4 視覚的およびテクスチャルモダリティは、難易度の異なる質問に対してそれぞれどのように寄与するか？
• RQ5 共参照解決とキャラクター誘導型表現は、長距離にわたる物語の一貫性をモデル化する上でどのような影響を及ぼすか？

主な発見

• マルチレベルコンテキストマッチングモデルはベースラインを上回り、特に難易度の高い質問（Diff. 3および4）で顕著な優位性を示し、複雑な推論に高レベル表現の有効性を実証した。
• 高レベル表現を削除すると性能が著しく低下し、複雑な物語的推論を処理する上でその重要性が示された。
• 視覚のみの入力を用いた場合、簡単な質問（Diff. 1および2）では良好な性能を示すが、視覚的詳細が曖昧または欠落している場合には困難を示した。
• 視覚入力からキャラクターメタデータ（バウンディングボックス、感情、行動）を除去すると性能が急激に低下し、キャラクター中心のアノテーションの重要性が裏付けられた。
• スクリプトにおける共参照解決は性能を顕著に向上させ、それを行わないモデルは質問の言及が正しいキャラクターに一致しないことが分かった。
• 完全なモデル（Our(Full)）は全難易度レベルで最高の正答率を達成し、特にDiff. 3および4で顕著な向上を示した。これにより、マルチレベルかつキャラクター誘導型の推論の価値が確認された。