[論文レビュー] Learning Situation Hyper-Graphs for Video Question Answering

Aisha Urooj Khan, Hilde Kuehne+6 more|arXiv (Cornell University)|Apr 18, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、明示的なオブジェクト検出を用いずに、ビデオクリップからアクター、オブジェクト、関係性、行動を表す状況ハイパーグラフを学習する、エンドツーエンドのビデオ質問応答フレームワークであるSHG-VQAを提案する。質問埋め込みと照応するクロスアテンションを用いてハイパーグラフトークンを予測する状況ハイパーグラフデコーダーを採用することで、AGQAおよびSTARベンチマークで最先端の性能を達成した。これは、暗黙的なハイパーグラフ学習が複雑なビデオコンテンツにおける推論を顕著に向上させることを示している。

ABSTRACT

Answering questions about complex situations in videos requires not only capturing the presence of actors, objects, and their relations but also the evolution of these relationships over time. A situation hyper-graph is a representation that describes situations as scene sub-graphs for video frames and hyper-edges for connected sub-graphs and has been proposed to capture all such information in a compact structured form. In this work, we propose an architecture for Video Question Answering (VQA) that enables answering questions related to video content by predicting situation hyper-graphs, coined Situation Hyper-Graph based Video Question Answering (SHG-VQA). To this end, we train a situation hyper-graph decoder to implicitly identify graph representations with actions and object/human-object relationships from the input video clip. and to use cross-attention between the predicted situation hyper-graphs and the question embedding to predict the correct answer. The proposed method is trained in an end-to-end manner and optimized by a VQA loss with the cross-entropy function and a Hungarian matching loss for the situation graph prediction. The effectiveness of the proposed architecture is extensively evaluated on two challenging benchmarks: AGQA and STAR. Our results show that learning the underlying situation hyper-graphs helps the system to significantly improve its performance for novel challenges of video question-answering tasks.

研究の動機と目的

• 空間的・時間的推論を要する複雑で動的な状況におけるビデオ質問応答の課題に対処すること。
• 時間的変化を伴うエンティティ、関係性、行動をハイパーグラフとしてエンコードすることで、VQAにおける推論を向上させること。
• 事前学習済みオブジェクト検出器や明示的なグラフ計算に依存せずに、ビデオ入力から構造的なシーン表現を暗黙的に学習すること。
• マルチタスク損失を用いて、正確な状況ハイパーグラフ予測と正しい回答生成の両方を同時に最適化すること。
• 豊富な真値ハイパーグラフアノテーションが与えられた挑戦的なベンチマークにおいて、ハイパーグラフ学習の有効性を評価すること。

提案手法

• 状況ハイパーグラフデコーダーを導入し、ビデオクリップ特徴量から原子的行動およびオブジェクト／アクター間の関係性をトークンの集合として予測する。
• 予測されたハイパーグラフトークンと質問埋め込みとの間でクロスアテンションを用いることで、回答を生成する。
• 各フレームで予測されたハイパーグラフトークンと真値トークンをマッチングするための二部マッチング損失（ハンガリアンマッチング）を適用し、集合予測の正確性を向上させる。
• 全体の学習目的は、VQA損失（交差エントロピー）とハンガリアンマッチング損失（行動および関係性予測用）を組み合わせたものである。
• アーキテクチャはエンドツーエンドで学習可能であり、推論時に明示的なグラフニューラルネットワーク層を必要としない。
• 空間的・時間的グラフ学習を集合予測タスクとして扱い、中間的なグラフ構築を経ずに直接関係性や行動を予測可能である。

Figure 1 : The situation hyper-graph for a video is composed of situations with entities and their relationships (shown as subgraphs in the pink box). These situations may evolve over time. Temporal actions act as hyper-edges connecting these situations into one situation hyper-graph. Learning situa

実験結果

リサーチクエスチョン

• RQ1 生のビデオから状況ハイパーグラフを暗黙的に学習することで、ビデオ質問応答の性能が向上するか？
• RQ2 行動をサブグラフを接続するハイパーエッジとしてモデル化することで、動的なビデオコンテンツにおける推論が向上するか？
• RQ3 フレームレベルのハンガリアンマッチングと全動画レベルのマッチングを比較した場合、予測の正確性および時間的整合性はどのように異なるか？
• RQ4 構造的なハイパーグラフ表現を学習することで、分布外の推論タスクにおける一般化性能はどの程度向上するか？
• RQ5 明示的なグラフ計算や事前定義されたシーングラフヘッドを必要としないトランスフォーマー基盤アーキテクチャが、VQAで競争力のある性能を達成できるか？

主な発見

• 提案されたSHG-VQAモデルは、4つの行動と12の関係性を用いて、AGQAベンチマークで39.90%の精度を達成し、最先端の性能を示した。
• STARベンチマークでは、3つの行動と8つの関係性を用いて39.20%の精度に達し、複雑な推論タイプにおいても強力な性能を示した。
• アブレーションスタディの結果、高品質なハイパーグラフ予測がVQA性能にとって不可欠であることが判明した。劣悪なグラフ生成を行うモデルは、複雑な質問に答えられなかった。
• フレームレベルのハンガリアンマッチングをハイパーグラフ予測に用いることで、全動画マッチングと比較して重複や欠落予測が顕著に減少した。
• 定性的な結果から、フレームレベルマッチングを用いたモデルは、特にマルチステップの行動や関係性において、より正確で時間的整合性の高いハイパーグラフを生成することが確認された。
• 計算コストは低く抑えられており、トランスフォーマー層は合計12層（エンコーダー・デコーダー各5層）で、ALBEFなどの既存のビジョン・ランゲージモデルと同等の水準であった。

Figure 2 : The SHG-VQA architecture: we start with encoding the input video into spatio-temporal features using a pre-trained backbone. These video features are flattened into a sequence of tokens of length $T\times h\times w$ and position encoded to be further processed through a visual encoder. Th