[論文レビュー] MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering

Difei Gao, Luowei Zhou+4 more|arXiv (Cornell University)|Dec 19, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

MISTは、長時間の動画質問応答のためのマルチモーダルで反復的な空間的・時系列的トランスフォーマーを提案する。このモデルは、密度的な自己注意機構を段階的で質問に依存するセグメントおよび領域選択モジュールに分解することで、複数の出来事象や多様な粒度にわたる効率的で解釈可能な推論を可能にする。MISTは、AGQA、NExT-QA、STAR、Env-QAの4つのベンチマークで最先端の性能を達成し、計算効率と解釈可能性が向上している。

ABSTRACT

To build Video Question Answering (VideoQA) systems capable of assisting humans in daily activities, seeking answers from long-form videos with diverse and complex events is a must. Existing multi-modal VQA models achieve promising performance on images or short video clips, especially with the recent success of large-scale multi-modal pre-training. However, when extending these methods to long-form videos, new challenges arise. On the one hand, using a dense video sampling strategy is computationally prohibitive. On the other hand, methods relying on sparse sampling struggle in scenarios where multi-event and multi-granularity visual reasoning are required. In this work, we introduce a new model named Multi-modal Iterative Spatial-temporal Transformer (MIST) to better adapt pre-trained models for long-form VideoQA. Specifically, MIST decomposes traditional dense spatial-temporal self-attention into cascaded segment and region selection modules that adaptively select frames and image regions that are closely relevant to the question itself. Visual concepts at different granularities are then processed efficiently through an attention module. In addition, MIST iteratively conducts selection and attention over multiple layers to support reasoning over multiple events. The experimental results on four VideoQA datasets, including AGQA, NExT-QA, STAR, and Env-QA, show that MIST achieves state-of-the-art performance and is superior at computation efficiency and interpretability.

研究の動機と目的

• 長時間の動画における複雑で、複数の出来事象および多様な粒度の推論を実現する課題に取り組む。既存のモデルは、計算コストの高さと推論能力の制限により、この課題に苦慮している。
• 長時間の動画における密度的な自己注意機構の限界を克服するため、質問に関連するセグメントおよび領域にのみ注目する段階的な選択メカニズムを導入する。
• 積み重ねられた選択および注意モジュールを通じて、複数の出来事象にわたる反復的推論を可能にし、時系列的および因果的推論タスクの性能を向上させる。
• 短時間の動画や画像で事前学習されたモデルと、長時間動画QAの下流タスクとの間のドメインギャップを埋めるために、効率的に事前学習モデルを適応させる。
• 長時間動画理解ベンチマークでの性能を維持または向上させながら、モデルの解釈可能性と計算効率を向上させる。

提案手法

• 標準的な密度的空間的・時系列的自己注意機構を、質問コンテキストに基づいて動的に関連する動画セグメントおよび画像領域を選択する段階的選択モジュールに分解する。
• 質問に依存する選択メカニズムを用い、複数の層にわたって関連する視覚的要素の集合を段階的に精錬することで、複数の出来事象にわたる推論を可能にする。
• 選択されたセグメントおよび領域に対して、マルチモーダルで多様な粒度の自己注意機構を適用し、異なる粒度における視覚的コンセプト間の複雑な相互作用をモデル化する。
• 二段階のプロセスを実装する：まず、微分可能サンプリング戦略（入れ替えあり・なしを含む）を用いて上位k個のセグメントおよび領域を選択し、次に学習された注意メカニズムを用いてそれらに注目する。
• アブレーションのための非パrametricな注意変種を導入し、学習可能なパrameterを一切用いずに、事前学習済みの視覚的および質問特徴を用いて一致スコアを計算する。
• 反復的精錬を用いてエンドツーエンドでモデルを学習させ、選択および注意モジュールが質問の関連性と推論の正確性を共同で最適化できるようにする。

Figure 1 : Main challenges of long-form VideoQA. The questions for long-form VideoQA usually involve multi-event, multi-grained, and causality reasoning.

実験結果

リサーチクエスチョン

• RQ1 密度的な自己注意機構と比較して、段階的な選択メカニズムは、長時間の動画質問応答における推論の効率性と正確性を向上させるか？
• RQ2 反復的で多層的な選択は、長時間の動画における複数の出来事象および複雑な視覚的相互作用の推論をどのように向上させるか？
• RQ3 選択的注意機構を用いることで、ドメインギャップを回避しつつ、事前学習済みの視覚的および言語的モデルを長時間動画QAに効果的に適応できる範囲はどの程度か？
• RQ4 提案手法は、長時間の動画における多様な粒度および複数の出来事象の推論を捉える点で、スパarsなサンプリングベースラインを上回るか？
• RQ5 特に関連する動画セグメントおよび領域の局所化において、標準的な注意メカニズムと比較して、モデルの解釈性はどの程度高いか？

主な発見

• MISTは、AGQA、NExT-QA、STAR、Env-QAの4つの長時間動画QAベンチマークで最先端の性能を達成し、先行手法に顕著な改善を示した。
• AGQA v1では、MISTは全体の正確度58.26%を達成し、同じ視覚特徴を使用している以前の最先端手法（Temp[ATP]）を4.09ポイント上回った。
• 選択モジュールでリプレースメントありのサンプリングを用いたバージョンが、リプレースメントなしのバージョンを上回った。これは、関連するセグメントを再選択することで推論の安定性が向上することを示唆している。
• 非パラメトリックな注意ベースラインは、リプレースメントありの1層のMISTと同程度の性能を示したが、2層の反復的レイヤーを備えたMISTは著しくそれを上回った。これは、学習可能な反復的精錬の利点を裏付けている。
• 定性的な分析から、MISTは質問コンテキストに基づいて関連する動画セグメントおよび領域を正しく局所化できることを示したが、部分的に見えているオブジェクトや非常に類似した出来事象の処理には苦慮している。
• アブレーションスタディーから、複雑で複数の出来事象にわたる推論を捉えるために、反復的選択および注意機構が不可欠であることが確認された。特に因果関係や構成的質問タイプにおいて顕著な効果が見られた。

Figure 2 : Diagrammatic illustration of \textcinzel MIST . It revises a standard spatial-temporal self-attention layer into two modules: a cascade selection module that dynamically eliminates question-irrelevant image regions, and a self-attention layer reasoning over multi-modal multi-grained visua