[論文レビュー] TVQA+: Spatio-Temporal Grounding for Video Question Answering

Jie Lei, Licheng Yu+2 more|arXiv (Cornell University)|Apr 25, 2019

Multimodal Machine Learning Applications参考文献 62被引用数 25

ひとこと要約

本稿では、時間的・空間的局所化を可能にするためにフレームレベルのバウンディングボックスを追加した大規模な動画質問応答データセットであるTVQA+を紹介する。また、時間的局所化、物体局所化、質問応答を統合的に実行するエンドツーエンドフレームワークSTAGEを提案し、時間的および空間的監視の両方の恩恵を受けて、最先端の性能を達成した。

ABSTRACT

We present the task of Spatio-Temporal Video Question Answering, which requires intelligent systems to simultaneously retrieve relevant moments and detect referenced visual concepts (people and objects) to answer natural language questions about videos. We first augment the TVQA dataset with 310.8K bounding boxes, linking depicted objects to visual concepts in questions and answers. We name this augmented version as TVQA+. We then propose Spatio-Temporal Answerer with Grounded Evidence (STAGE), a unified framework that grounds evidence in both spatial and temporal domains to answer questions about videos. Comprehensive experiments and analyses demonstrate the effectiveness of our framework and how the rich annotations in our TVQA+ dataset can contribute to the question answering task. Moreover, by performing this joint task, our model is able to produce insightful and interpretable spatio-temporal attention visualizations. Dataset and code are publicly available at: http: //tvqa.cs.unc.edu, https://github.com/jayleicn/TVQAplus

研究の動機と目的

• 既存の動画QAデータセットにおける空間的局所化の欠如を解消するため、質問および回答に関連する視覚的コンセプトとフレーム内の特定の物体・人物を結びつけるフレームレベルのバウンディングボックスを収集すること。
• 時間的・空間的動画質問応答という新たなタスクを提案し、関連する動画の期間と視覚的領域の両方を同時に局所化することを要請すること。
• 時間的局所化、物体局所化、質問応答を統合するエンドツーエンドで学習可能な統合モデルSTAGEを設計すること。
• 時間的・空間的監視の影響がQA性能およびモデルの解釈可能性に与える影響を、包括的なアブレーションと可視化により評価すること。
• 今後の研究を可能にするために、公開可能なデータセットとコードベースを提供すること。

提案手法

• 質問および回答に登場する視覚的コンセプトとフレーム内の特定の物体・人物を結びつける310.8K個のバウンディングボックスを、TVQAデータセットに追加する。
• 時間的スパンの予測、マルチモーダル特徴を用いてバウンディングボックスによる物体の検出、質問応答を統合的に実行する統合モデルSTAGEを設計する。
• 動画と字幕の特徴をもつ二重ストリームエンコーダーを用い、QAペアに応じて条件付きに特徴を統合することで、整合的なマルチモーダル理解を実現する。
• スパンプロポーザルネットワークと、領域プロポーザルからの局所特徴プーリング（$G^l$）を活用し、回答予測の精度を向上させる。
• 時間的局所化と空間的局所化に明示的な監視を導入し、各コンポonentに適した損失関数を設定する。
• テキスト符号化にBERTを用い、マルチタスクの目的関数に基づいてエンドツーエンドで学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 動画QAデータセットに空間的局所化のアノテーションを追加すると、下流の質問応答性能にどのような影響を与えるか？
• RQ2 統合モデルが時間的局所化、物体局所化、質問応答を同時に最適化することで、精度と解釈可能性が向上するか？
• RQ3 時間的および空間的監視信号は、動画理解におけるQA性能向上にどの程度寄与するか？
• RQ4 局所特徴やスパンプロポーザルといった、異なるモデルコンポーネントが時間的空間的QAタスクの最終的性能にどのように影響を与えるか？
• RQ5 モデルは、人間の推論と一致する意味的で解釈可能なアテンション可視化を生成できるか？

主な発見

• STAGEの完全モデルは、TVQAのテストパubbリックセットで70.23%のQA精度を達成し、最良の先行研究比で3.91%の相対的改善を示した。
• 時間的監視を追加することで、バリデーションセットのQA精度が68.56%から70.50%に向上し、その有効性が裏付けられた。
• 空間的監視により、物体局所化のmAPが121.92%の相対的改善を示し、局所化性能への強い影響が確認された。
• スパンプロポーザル領域からの局所特徴（$G^l$）の使用が、すべての指標で最高の性能を達成した。これは、関連する手がかりを捉える価値があることを示している。
• 推論時に真値のスパンを用いたモデルは71.45%のQA精度を達成し、性能向上が改善された局所化に起因していることを確認した。
• 定性的な分析から、STAGEは人間の推論と一致する意味的で解釈可能な時間的空間的アテンション可視化を生成でき、モデルの説明可能性が向上した。