[論文レビュー] Video as Conditional Graph Hierarchy for Multi-Granular Question Answering

Junbin Xiao, Angela Yao+4 more|arXiv (Cornell University)|Dec 12, 2021

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本稿では、言語クエリに応じて条件付けられたグラフ階層を提案し、動画を複数の粒度（オブジェクト、アクション、アクティビティ、イベント）の視覚的事実として階層的に構造化してモデル化する。クエリに応じたグラフアテンションを階層の各レベルで用いることで、複数の VideoQA ベンチマークで最先端の性能を達成するとともに、質問の種別にわたる解釈可能性と一般化性能が向上する。

ABSTRACT

Video question answering requires the models to understand and reason about both the complex video and language data to correctly derive the answers. Existing efforts have been focused on designing sophisticated cross-modal interactions to fuse the information from two modalities, while encoding the video and question holistically as frame and word sequences. Despite their success, these methods are essentially revolving around the sequential nature of video- and question-contents, providing little insight to the problem of question-answering and lacking interpretability as well. In this work, we argue that while video is presented in frame sequence, the visual elements (e.g., objects, actions, activities and events) are not sequential but rather hierarchical in semantic space. To align with the multi-granular essence of linguistic concepts in language queries, we propose to model video as a conditional graph hierarchy which weaves together visual facts of different granularity in a level-wise manner, with the guidance of corresponding textual cues. Despite the simplicity, our extensive experiments demonstrate the superiority of such conditional hierarchical graph architecture, with clear performance improvements over prior methods and also better generalization across different type of questions. Further analyses also demonstrate the model's reliability as it shows meaningful visual-textual evidences for the predicted answers.

研究の動機と目的

• 動画質問応答における逐次的モデリングの限界、すなわち階層的な視覚的構造や多粒度の言語的概念を捉えられないことに対処する。
• 既存のモデルが解釈不能で最適でない推論を示す問題を克服するため、動画を視覚的要素の構造的階層としてモデル化する。
• テキストクエリと異なる粒度（オブジェクト、アクション、アクティビティ、イベント）の対応する視覚的事実を一致させることで、多粒度の推論を可能にする。
• クエリに応じたグラフアテンションを階層の各レベルに組み込むことで、モデルの一般化性能と信頼性を向上させる。
• アテンションベースの特徴局所化と関係学習を通じて、予測のための意味のある視覚的・テキスト的根拠を提供する。

提案手法

• 動画を階層的グラフ構造としてモデル化し、ノードが異なる粒度の視覚的事実を表すようにする：オブジェクト（G_O）、フレーム（G_F）、アクション（G_A）、グローバルなイベント（G_C）。
• 各レベルにテキストクエリの手がかりを統合することで、条件付きグラフ階層を構築し、注目と特徴集約をガイドする。
• 再利用可能なクエリに応じたグラフアテンション（QGA）ユニットを用い、ノードレベルのアテンション重みを計算し、各粒度レベルでのクロスモodalな整合性を実現する。
• 階層の各レベルを跨いでグラフプーリングと集約を適用し、下位レベルの事実から上位レベルの表現を段階的に構築する。このプロセスはクエリに従ってガイドされる。
• アテンションメカニズムを通じてスパースな隣接行列を学習し、関係のない視覚的関係をフィルタリングし、クエリに関連する相互作用に焦点を当てる。
• BERTに基づく文脈に即したテキスト符号化を用い、多粒度の言語的概念（例：「スケーター」対「男性／女性スケーター」）の曖昧さをよりよく解消する。

実験結果

リサーチクエスチョン

• RQ1 動画を条件付きグラフ階層としてモデル化することで、多粒度の動画質問応答における推論性能が向上するか？
• RQ2 階層的でクエリに応じたグラフ集約は、視覚的・言語的複雑性を捉える点で逐次的モデリングと比べてどのように優れているか？
• RQ3 モデルは多様な質問タイプ（例：「何」、「誰」、「いつ」、「どう」）にどの程度一般化できるか？
• RQ4 モデルはその予測のための解釈可能で局所化された視覚的・テキスト的根拠を提供できるか？
• RQ5 個々の構成要素（例：グラフ階層、多段階の条件付け、BERT符号化）は全体の性能にどの程度寄与しているか？

主な発見

• 提案手法は、MSRVTT-QA で 38.6%、MSVD-QA で 41.2% の精度を達成し、4つの VideoQA データセットで最先端の性能を実現した。
• アブレーションスタディの結果、クエリ条件付けを削除した場合（w/o Q_C）の MSRVTT-QA での性能は 51.30% に低下し、その重要性が確認された。
• すべての質問タイプで先行手法を上回り、MSRVTT-QA における「何」に関する質問で 4.6% の性能差を示した。これは、アクション／アクティビティ認識の向上を示している。
• 定性的分析により、アテンション重みが関連する視覚的要素（例：特定のフレームやオブジェクト）を局所化しており、クエリに関連するレベル（例：アクション対オブジェクト）を区別していることが確認された。
• 学習された隣接行列はスパースであることが示され、モデルが関係のない視覚的関係を学習してフィルタリングしていることが判明し、解釈可能性が向上している。
• 最も単純なバージョン（w/o G_O & G_F）でも、MSRVTT-QA で 50.62% の高い性能を達成しており、改善されたデータ表現と BERT 符号化の利点が顕著に表れている。