[論文レビュー] Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering

Min Peng, Chongyang Wang+3 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications参考文献 40被引用数 5

ひとこと要約

本稿では、複数スケールの時間的特徴とマルチモーダル相互作用を活用して質問理解と視覚的推論を向上させる、動画質問応答のための時系列パラレルトランスフォーマー（TPT）モデルを提案する。粗いスケールから細かいスケールへの質問特化型トランスフォーマー（QT）と、マルチモーダルアテンションおよびリサイデュアル接続を備えた局所的からグローバルな視覚的推論（VI）モジュールを用いることで、TGIF-QA、MSRVTT-QA、MSVD-QA データセットで最先端の性能を達成した。

ABSTRACT

Video question answering (VideoQA) is challenging given its multimodal combination of visual understanding and natural language understanding. While existing approaches seldom leverage the appearance-motion information in the video at multiple temporal scales, the interaction between the question and the visual information for textual semantics extraction is frequently ignored. Targeting these issues, this paper proposes a novel Temporal Pyramid Transformer (TPT) model with multimodal interaction for VideoQA. The TPT model comprises two modules, namely Question-specific Transformer (QT) and Visual Inference (VI). Given the temporal pyramid constructed from a video, QT builds the question semantics from the coarse-to-fine multimodal co-occurrence between each word and the visual content. Under the guidance of such question-specific semantics, VI infers the visual clues from the local-to-global multi-level interactions between the question and the video. Within each module, we introduce a multimodal attention mechanism to aid the extraction of question-video interactions, with residual connections adopted for the information passing across different levels. Through extensive experiments on three VideoQA datasets, we demonstrate better performances of the proposed method in comparison with the state-of-the-arts.

研究の動機と目的

• 既存のVideoQA手法が単一または限定的な時間スケールに焦点を当てがちであるのに対し、多スケールの時間的モデリングの欠如に対処する。
• 複数の時間的粒度における質問-動画の意味的共起を捉えることで、質問理解を向上させる。
• 質問特化の意味論に従ってガイドされる局所的からグローバルな視覚的推論により、視覚的推論を強化する。
• 複数レベルにわたるマルチモーダルアテンションとリサイデュアル接続を統合し、特徴の通信と表現学習を改善する。
• 多様なVideoQAタスクに適した多様な視覚的手がかりを捉えるために、時系列パラレル構造の有効性を実証する。

提案手法

• 動画フレームから時系列パラレルを構築し、複数レベルで外見・運動特徴を抽出することで、グローバルおよび細粒度のダイナミクスを捉える。
• 各質問語とパラレルの各レベルの視覚的特徴の間で粗いスケールから細かいスケールへのマルチモーダル共起を構築する質問特化型トランスフォーマー（QT）モジュールを用いる。
• QTの各レベル内でマルチモーダルアテンション機構を適用し、質問トークンと関連する視覚的特徴をアライメントさせ、質問に関連する意味を抽出する。
• QTにおけるパラレルレベル間のリサイデュアル接続を実装し、粗いスケールから細かいスケールへの情報の保持と伝達を可能にする。
• QTが得た質問意味論を用いて、同じパラレルレベルを横断して局所的からグローバルな視覚的推論をガイドする視覚的推論（VI）モジュールを導入する。
• VIにマルチモーダルアテンションを統合し、異なる時間スケールにわたる関連する視覚的手がかりに動的に注目させる。また、階層間のリサイデュアル接続により特徴の精練を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数の時間スケールで動画の外見・運動特徴をモデリングすることで、動画質問応答にどのように寄与するか？
• RQ2 複数レベルの視覚的特徴における質問特化の意味論モデリングは、複雑な動画質問の理解をどの程度向上させるか？
• RQ3 パラレルのレベル数が、アクション認識、数え上げ、時間的推論などの多様なVideoQAタスクにおける性能に与える影響は何か？
• RQ4 複数レベルにわたるマルチモーダルアテンションとリサイデュアル接続の統合は、特徴表現と推論精度にどのような影響を与えるか？
• RQ5 階層的特徴連携を有する2段階アーキテクチャ（QT + VI）は、エンドツーエンドモデルを上回る性能を発揮できるか？

主な発見

• 提案されたTPTモデルは、3つのベンチマークVideoQAデータセット（TGIF-QA、MSRVTT-QA、MSVD-QA）で最先端の性能を達成した。
• TGIF-QAデータセットでは、Actionタスクで76.6%、Trans.で81.6%、FrameQAで57.8%、Countで3.63の精度を達成し、以前のSOTA手法を上回った。
• QTモジュールを削除すると、すべてのタスクで性能が低下し、Actionの精度が0.4%低下し、Countの誤差が0.3%増加した。これは、質問理解においてQTモジュールが極めて重要な役割を果たしていることを確認した。
• パラレルのレベル数は性能に顕著な影響を与える。N=3またはN=4のレベル数が最適であり、N=3が情報の豊かさとノイズ低減のバランスが最も良いと判明した。
• 本モデルは多様なタスクにわたり高いロバスト性を示し、特に多スケールの視覚的手がかりが不可欠なCountおよびTrans.タスクで顕著な改善が見られた。
• アブレーションスタディの結果、複数レベルにわたるマルチモーダルアテンションとリサイデュアル接続が、効果的な特徴連携と性能向上に不可欠であることが確認された。