[論文レビュー] Rethinking Multi-Modal Alignment in Video Question Answering from Feature and Sample Perspectives

Shaoning Xiao, Long Chen+5 more|arXiv (Cornell University)|Apr 25, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、動画トラジェクトリーフィーチャーとサンプルレベルのデータ拡張を活用することで、VideoQAにおけるマルチモーダルアライメントのための新規アプローチを提案する。トラジェクトリーレベルとフレームレベルの視覚的特徴を言語とアライメントさせるために、マルチヘッド自己注意に基づくトラジェクトリーエンコーダーと異種グラフアーキテクチャを導入し、同時にネガティブな回答とクロスビデオQAペアの拡張を用いて、クロスモダリティ対応を強化する。本手法は、NExT-QAベンチマークにおいて最先端の性能を達成し、すべての先行モデルを上回る。

ABSTRACT

Reasoning about causal and temporal event relations in videos is a new destination of Video Question Answering (VideoQA).The major stumbling block to achieve this purpose is the semantic gap between language and video since they are at different levels of abstraction. Existing efforts mainly focus on designing sophisticated architectures while utilizing frame- or object-level visual representations. In this paper, we reconsider the multi-modal alignment problem in VideoQA from feature and sample perspectives to achieve better performance. From the view of feature,we break down the video into trajectories and first leverage trajectory feature in VideoQA to enhance the alignment between two modalities. Moreover, we adopt a heterogeneous graph architecture and design a hierarchical framework to align both trajectory-level and frame-level visual feature with language feature. In addition, we found that VideoQA models are largely dependent on language priors and always neglect visual-language interactions. Thus, two effective yet portable training augmentation strategies are designed to strengthen the cross-modal correspondence ability of our model from the view of sample. Extensive results show that our method outperforms all the state-of-the-art models on the challenging NExT-QA benchmark, which demonstrates the effectiveness of the proposed method.

研究の動機と目的

• 動画と言語の間の意味的ギャップを、特徴とサンプルの両面からのマルチモーダルアライメントの向上によって解消すること。
• 物体レベルの表現が動画内の時系列的・因果的関係を捉えることの限界を克服すること。
• 強力なトレーニングデータ拡張戦略を導入することで、モデルの言語的バイアス依存度を低減すること。
• トラジェクトリーレベルの視覚的表現とグラフベースの推論を用いて、クロスモダリティ対応を強化すること。

提案手法

• まず、事前学習済みの物体検出器と改善されたシーケンスNMSを用いて、動画のトラジェクトリーフィーチャーを抽出する。
• 時間的および意味的埋め込みを組み込んだマルチヘッド自己注意に基づくトラジェクトリーエンコーダーにより、トラジェクトリーフィーチャー内の長距離依存関係をモデル化する。
• サイクルアテンションモジュールにより、トラジェクトリーレベルおよびフレームレベルの視覚的特徴と言語的特徴をアライメントする。
• 多様な視覚的および言語的要素間の非明示的関係をモデル化するため、異種グラフネットワークを設計する。
• 2つのサンプルレベルの拡張戦略を導入する：(1) マッチング時にネガティブな回答をサンプリングし、(2) 他の動画からのネガティブな質問・回答ペアを用いる。
• モデルは、GloVeおよび微調整済みBERT埋め込みを併用して、マルチチョイス形式のNExT-QAベンチマーク上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 トラジェクトリーレベルの視覚的特徴は、フレームまたは物体レベルの特徴と比較して、VideoQAにおけるマルチモーダルアライメントをどのように改善するか？
• RQ2 グラフベースのアーキテクチャは、動画理解における多様な視覚的および言語的要素の推論をどの程度向上させるか？
• RQ3 サンプルレベルのデータ拡張戦略は、モデルの言語的バイアス依存度を低減させ、クロスモダリティ対応を向上させるか？
• RQ4 トラジェクトリーフィーチャーの品質と拡張設計が、因果的・時系列的推論における性能にどのように統合的に影響を与えるか？

主な発見

• 提案手法は、挑戦的なNExT-QAベンチマークで最先端の性能を達成し、すべての既存モデルを上回った。
• ネガティブな回答のサンプリングとクロスビデオQAペア拡張の両方を用いることで、特にGloVe埋め込みの場合に精度が大幅に向上した。
• BERT-FTでは、2番目の拡張戦略（qa-）である、他の動画からのネガティブQAペアを用いる戦略が、文レベル埋め込みの制限にもかかわらず、性能を顕著に向上させた。
• ネガティブサンプルの数は15個まで増加することで正の影響を示し、以降は性能が頭打ちになった。
• アブレーションスタディの結果、トラジェクトリーエンコーダーやグラフコンポーネントを削除すると、性能が顕著に低下したことが確認され、それらの重要性が裏付けられた。
• マルチヘッド自己注意に基づくトラジェクトリーエンコーダーは、多くの場合GRUを上回ったが、特に時系列的質問において顕著に優れた性能を示し、グローバル相互作用のモデル化における有効性が実証された。