[論文レビュー] Integrating Multimodal Information in Large Pretrained Transformers

Wasifur Rahman, Md. Kamrul Hasan+5 more|arXiv (Cornell University)|Aug 15, 2019

Topic Modeling参考文献 28被引用数 9

ひとこと要約

本稿では、BERT や XLNet のコアアーキテクチャを変更せずに、ファインチューニング中に視覚的および聴覚的モダリティを統合できる軽量なモジュール、マルチモーダル適応ゲート（MAG）を提案する。MAG は非言語的サインに基づいてモデルの内部表現を動的にシフトさせ、マルチモーダルセンチメント分析において最先端の性能を達成し、MAG-XLNet は CMU-MOSI で人間水準の性能を達成した。

ABSTRACT

Recent Transformer-based contextual word representations, including BERT and XLNet, have shown state-of-the-art performance in multiple disciplines within NLP. Fine-tuning the trained contextual models on task-specific datasets has been the key to achieving superior performance downstream. While fine-tuning these pre-trained models is straightforward for lexical applications (applications with only language modality), it is not trivial for multimodal language (a growing area in NLP focused on modeling face-to-face communication). Pre-trained models don't have the necessary components to accept two extra modalities of vision and acoustic. In this paper, we proposed an attachment to BERT and XLNet called Multimodal Adaptation Gate (MAG). MAG allows BERT and XLNet to accept multimodal nonverbal data during fine-tuning. It does so by generating a shift to internal representation of BERT and XLNet; a shift that is conditioned on the visual and acoustic modalities. In our experiments, we study the commonly used CMU-MOSI and CMU-MOSEI datasets for multimodal sentiment analysis. Fine-tuning MAG-BERT and MAG-XLNet significantly boosts the sentiment analysis performance over previous baselines as well as language-only fine-tuning of BERT and XLNet. On the CMU-MOSI dataset, MAG-XLNet achieves human-level multimodal sentiment analysis performance for the first time in the NLP community.

研究の動機と目的

• BERT や XLNet などの大規模事前学習 Transformer モデルが、マルチモーダル言語タスクのファインチューニング中に視覚的および聴覚的モダリティを効果的に統合できるようにすること。
• アーキテクチャの変更なしに、言語のみの事前学習モデルをマルチモーダル入力に適応させる課題に対処すること。
• 事前学習モデルの構造を保持しつつ、マルチモーダル適応を可能にする最小限で効率的かつ効果的な統合メカニズムを開発すること。
• 特に CMU-MOSI および CMU-MOSEI において、マルチモーダルセンチメント分析ベンチマークで優れた性能を達成すること。
• MAG を用いたファインチューニングが、言語のみのファインチューニングや外部統合アプローチと比較して顕著な性能向上をもたらすことを示すこと。

提案手法

• 視覚的および聴覚的特徴から文脈依存の適応ベクトルを生成する学習可能なモジュール、マルチモーダル適応ゲート（MAG）を導入する。
• MAG は、視覚的および聴覚的特徴の重み付き統合を計算するためにマルチヘッドアテンション機構を用い、非言語的信号に条件付けられたシフトベクトルを生成する。
• 適応ベクトルは、残差スタイルの更新により BERT や XLNet の隠れ状態に適用され、モデルの元のアーキテクチャを変更せずに内部表現を変更する。
• この手法はファインチューニング中に適用され、事前学習済みモデルが事前学習知識を保持したままマルチモーダル入力に適応できるようにする。
• 適応ベクトルは、視覚および音声エンコーダーの高層特徴から計算され、高レベルで抽象化された非言語的表現が使用されることを保証する。
• フレームワークはエンドツーエンドで学習可能であり、標準的なファインチューニングと同等の計算複雑性を維持し、最小限のパラメータオーバーヘッドにとどまる。

実験結果

リサーチクエスチョン

• RQ1 BERT や XLNet は、アーキテクチャの変更なしに、視覚的および聴覚的モダリティを効果的に統合してファインチューニングできるか？
• RQ2 提案されたマルチモーダル適応ゲート（MAG）は、言語のみのファインチューニングや外部統合手法と比較して、マルチモーダルセンチメント分析の性能を向上させるか？
• RQ3 MAG は、CMU-MOSI のようなマルチモーダルセンチメント分析ベンチマークで人間水準の性能を達成できるか？
• RQ4 MAG フレームワークは、異なるアノテーションレベルを持つ CMU-MOSEI のような他のマルチモーダルデータセットにも一般化できるか？
• RQ5 性能向上は MAG メカニズムそのものによるものか、それとも事前学習モデルのアーキテクチャそのものによるものか？

主な発見

• MAG-XLNet は、CMU-MOSI データセットで最先端の性能を達成し、NLP 分野で初めて人間水準の正確性を達成した。
• CMU-MOSI において、MAG-BERT および MAG-XLNet は、BERT や XLNet の言語のみのファインチューニングと、外部統合ベースライン（MulT）を著しく上回った。
• CMU-MOSEI において、MAG-BERT はバイナリ精度 84.7%、F1 スコア 84.5% を達成し、MulT（83.5%, 82.9%）および標準 BERT（83.9%, 83.9%）を上回った。
• CMU-MOSEI において、MAG-XLNet はバイナリ精度 85.6%、F1 スコア 85.7% を達成し、MulT（84.1%, 83.7%）および標準 XLNet（85.4%, 85.2%）を上回った。
• アブレーションスタディの結果、MAG フレームワーク内で BERT や XLNet をランダム初期化すると、性能が著しく低下（CMU-MOSI で 70.1% および 70.7% の BA）し、性能向上が成功した MAG を用いたファインチューニングに起因していることが確認された。
• 定性的分析により、MAG-XLNet が顔の表情や声のトーンといった非言語的サインを統合することで、テキストのセンチメント予測を逆転または強化する正しい調整がなされていることが確認された。