[論文レビュー] MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering

Aisha Urooj Khan, Amir Mazaheri+2 more|arXiv (Cornell University)|Oct 27, 2020

Multimodal Machine Learning Applications参考文献 50被引用数 10

ひとこと要約

本稿では、質問、動画フレーム、字幕の各モダリティに別個のBERTエンコーダーを用い、その後に新規のトランスフォーマーに基づく統合メカニズムを適用することで、モダリティ固有の表現を共同で注目するマルチモーダル統合トランスフォーマーMMFT-BERTを提案する。本手法はTVQAデータセットにおいて最先端の性能を達成し、従来手法と比較してQ+Vで2.41%、Q+V+Sで1.1%の向上を示した。また、視覚的モダリティへの依存度を評価するための診断用サブセットTVQA-Visualを導入した。

ABSTRACT

We present MMFT-BERT(MultiModal Fusion Transformer with BERT encodings), to solve Visual Question Answering (VQA) ensuring individual and combined processing of multiple input modalities. Our approach benefits from processing multimodal data (video and text) adopting the BERT encodings individually and using a novel transformer-based fusion method to fuse them together. Our method decomposes the different sources of modalities, into different BERT instances with similar architectures, but variable weights. This achieves SOTA results on the TVQA dataset. Additionally, we provide TVQA-Visual, an isolated diagnostic subset of TVQA, which strictly requires the knowledge of visual (V) modality based on a human annotator's judgment. This set of questions helps us to study the model's behavior and the challenges TVQA poses to prevent the achievement of super human performance. Extensive experiments show the effectiveness and superiority of our method.

研究の動機と目的

• 質問、動画、字幕の複数モダリティを統合的にモデル化することで、視覚的質問応答の性能を向上させること。
• 現実的で複雑な動画QAにおいて、視覚的および言語的手がかりを効果的に統合するマルチモーダル理解の課題に取り組むこと。
• 質問の文脈に基づいて動的で重要度の重みを学習する、より説明可能な統合メカニズムを開発すること。
• モデルの頑健性とバイアスを評価するため、視覚的モダリティへの依存度を分離可能な診断用サブセットTVQA-Visualを導入すること。
• マルチストリームのBERTエンコーディングと構造化された統合が、単純な連結やシングルストリームアプローチを上回ることを示すこと。

提案手法

• 本手法は、質問・回答ペア用のQ-BERT、視覚的コンセプト用のV-BERT、字幕用のS-BERTという3つの別個のBERTエンコーダーを採用し、各モダリティを独立して処理する。
• 各BERTエンコーダーは、質問＋候補回答のペaired入力を用いて微調整され、マルチヘッド自己注意機構によりモダリティ固有の注目を可能にする。
• 新規のマルチモーダル統合トランスフォーマー（MMFT）モジュールは、各モダリティからの特徴量の連結と、学習可能な[<FUSE>]トークンを入力とし、すべての入力ソース間でクロスアテンションを実行する。
• MMFTモジュールはマルチヘッドアテンションを用い、質問に応じて各モダリティの重要度の重みを動的に割り当て、文脈に適した統合を実現する。
• MMFTからの最終出力は、線形分類器に供給され、候補回答の確率を予測する。
• 複数の損失項（個別および統合損失）を用いて、エンドツーエンドでモデルを訓練することで、最適化と性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 各モダリティに別個のBERTエンコーダーを用いることで、共有エンコーダーと比較して視覚的質問応答の性能が向上するか？
• RQ2 単純な連結や早期統合と比較して、専用のトランスフォーマーに基づく統合メカニズムは、マルチモーダル推論をどのように向上させるか？
• RQ3 モデルはどの程度視覚的情報に依存しており、診断用サブセットを用いてその依存度を分離して評価できるか？
• RQ4 訓練時に複数の損失項（個別および統合）を用いることで、単一の統合損失と比較して、モデルの収束性と性能が向上するか？
• RQ5 統合モジュールにおけるアテンションヘッド数やエンコーダー層数といったアーキテクチャ的選択が、最終的な性能に与える影響は何か？

主な発見

• MMFT-BERTはTVQAバリデーションセットにおいて、質問と動画入力（Q+V）を用いた場合、従来手法より2.41%の向上を達成し、新たな最先端の結果を記録した。
• すべての3つのモダリティ（Q+V+S）を用いた場合、前回の最先端手法と比較して1.1%の絶対的向上を示し、73.10%の正確度に到達した。
• 訓練時に個別および統合損失の両方を用いることで、単一の統合損失のみを用いた場合（71.82%）と比較して、より高い性能（73.10%）が得られた。
• MMFT統合モジュールにおけるマルチヘッドアテンション（H=12）は、シングルヘッドアテンション（73.55% vs. 72.66%）を上回り、局所的なアテンションパターンが特徴統合に重要であることを示した。
• MMFTにおける1層の統合モジュール（L=1）が最良の性能（73.55%）を示したが、スタックされた層（L=2）やスキップ接続付きの構成では性能が低下した。これは、深層化による過学習または冗長性の可能性を示唆している。
• 視覚的入力としてオブジェクトラベルの代わりにResNet-101特徴量を用いると性能が低下した（71.82%）。これは、このタスクにおいてオブジェクトレベルのコンセプトが、生の視覚的特徴量よりも有用であることを示している。