[論文レビュー] VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs

Xudong Lin, Gedas Bertasius+4 more|arXiv (Cornell University)|Jan 28, 2021

Multimodal Machine Learning Applications参考文献 53被引用数 8

ひとこと要約

Vx2Text は、動画、テキスト、音声、またはスピーチなどのマルチモーダル入力を用いて、動画ベースのテキスト生成のためのエンドツーエンドで統合されたフレームワークを提案する。各モダリティを微分可能トークナイゼーションにより共有言語空間にマッピングすることで、特別な統合モジュールを必要とせず、トランスフォーマーのエンコーダ-デコーダー構造によるマルチモーダル統合を実現し、マルチモーダル事前学習を用いない状態で、動画キャプション、視覚的質疑応答、音声視覚対話の分野で最先端の性能を達成する。

ABSTRACT

We present extsc{Vx2Text}, a framework for text generation from multimodal inputs consisting of video plus text, speech, or audio. In order to leverage transformer networks, which have been shown to be effective at modeling language, each modality is first converted into a set of language embeddings by a learnable tokenizer. This allows our approach to perform multimodal fusion in the language space, thus eliminating the need for ad-hoc cross-modal fusion modules. To address the non-differentiability of tokenization on continuous inputs (e.g., video or audio), we utilize a relaxation scheme that enables end-to-end training. Furthermore, unlike prior encoder-only models, our network includes an autoregressive decoder to generate open-ended text from the multimodal embeddings fused by the language encoder. This renders our approach fully generative and makes it directly applicable to different "video+$x$ to text" problems without the need to design specialized network heads for each task. The proposed framework is not only conceptually simple but also remarkably effective: experiments demonstrate that our approach based on a single architecture outperforms the state-of-the-art on three video-based text-generation tasks -- captioning, question answering and audio-visual scene-aware dialog.

研究の動機と目的

• 動画、テキスト、スピーチ、または音声を含むマルチモーダル入力から、オープンエンドのテキストを生成するための統合的でエンドツーエンドのフレームワークを開発すること。
• すべてのモダリティを共有言語埋め込み空間にマッピングすることで、一時的なクロスマodal統合モジュールの必要性を排除すること。
• 連続的モダリティのトークナイゼーションにおける非微分性にかかわらず、緩和スキームを用いてエンドツーエンド学習を可能にする。
• タスク固有のヘッドを用いず、1つのアーキテクチャでキャプション、質疑応答、対話といった多様なテキスト生成タスクで強力な性能を達成すること。
• 生成モデルにおけるデコーダーの使用が、複雑な統合メカニズムに依存する従来の手法や判別的ベースラインを上回ることを示すこと。

提案手法

• 各モダリティ（動画、音声、テキスト）は、モダリティ固有の分類器によって処理され、上位クラスのラベルが予測され、その後、事前学習済み言語モデルを用いて共有言語空間に埋め込まれる。
• 連続的入力（例：動画や音声特徴）のトークナイゼーションプロセスに微分可能緩和スキームを適用し、トークナイゼーション段階を経てのバックプロパゲーションを可能にする。
• すべてのモダリティから得られる言語埋め込みは、トランスフォーマーのエンコーダーを介して統合され、マルチモーダルシーケンスを1つの入力シーケンスとして処理する。
• 自己回帰的トランスフォーマー・デコーダーが、統合されたマルチモーダル表現から段階的にオープンエンドのテキストトークンを生成する。
• 生成されたテキストに対する標準的な言語モデリング目的関数を用いて、モデル全体をエンドツーエンドで学習する。
• TVQA などのフレームレベル特徴を要するベンチマークにおける公平な比較のため、物体検出予測を追加の入力モダリティとして含める。

実験結果

リサーチクエスチョン

• RQ1 微分可能トークナイゼーションと共有言語空間に基づく統合的エンドツーエンドフレームワークは、複数の動画ベースのテキスト生成タスクで、特化型モデルを上回ることができるか？
• RQ2 判別的モデリングから生成的自己回帰デコーダーに置き換えることで、タスク固有のヘッドを必要とせず、マルチモーダルテキスト生成の性能が向上するか？
• RQ3 言語空間へのアライメントに基づくシンプルな統合メカニズムは、複雑なクロスマodalアテンションモジュールを上回ることができるか？
• RQ4 微分可能トークナイゼーションを用いたエンドツーエンド学習は、別々のモジュールを学習する場合と比較して、一般化性能をどの程度向上させるか？
• RQ5 提案手法は、高価なマルチモーダル事前学習に依存せずに、最先端の結果を達成できるか？

主な発見

• AVSD ベンチマークでは、Vx2Text は訓練データの10％しか使用しない場合でも、最先端の MTN システムを1.5％の精度向上で上回り、50％のデータで学習した場合、完全な教師あり MTN モデルをも上回る。
• TVQA では、マルチモーダル事前学習を一切行わない状態で、前回の最先端（HERO）に対して1.4％の向上を達成し、両モデルが同様に事前学習を行わない場合、4.7％の向上を示す。
• TVC（動画キャプション）では、Vx2Text は MMT の最先端システムを著しく上回り、HERO ですら3週間分の追加マルチモーダル事前学習（760万サンプル）を用いても、Vx2Text と同等またはそれを上回る性能を示す。
• 定性的な結果から、Vx2Text は、行動や登場人物のアイデンティティを含む、すべてのモダリティからの情報を統合した自然で文脈に即した応答を生成することが可能である。これは、入力が単なるスピーチトランスクリプトや対話履歴のみであっても同様に成立する。
• アブレーションスタディの結果、エンドツーエンド学習による生成デコーダーは、判別的ベースラインに比べて顕著な性能向上を示しており、提案された学習パラダイムの優位性を裏付けている。
• 微分可能トークナイゼーションの使用により、完全なエンドツーエンド学習が可能になり、パイプライン内での別個の非微分可能なトークナイゼーションステップの必要性が排除される。