[論文レビュー] M-BERT: Injecting Multimodal Information in the BERT Structure

Wasifur Rahman, K. M. Azharul Hasan+3 more|arXiv (Cornell University)|Aug 15, 2019

Multimodal Machine Learning Applications参考文献 11被引用数 31

ひとこと要約

この論文は、マルチモーダル感情分析のため、BERTの入力空間に直接テキスト、視覚、音声のマルチモーダル情報を統合する手法M-BERTを提案する。BERTエンコーダーの前段階でモダリティ固有の特徴を統合することで、CMU-MOSIデータセットにおいて84.38%のバイナリ精度という、従来のヴァナイルBERTおよび先行マルチモーダルモデルよりもそれぞれ1.02%および5.98%高い、新たなSOTAを達成した。

ABSTRACT

Multimodal language analysis is an emerging research area in natural language processing that models language in a multimodal manner. It aims to understand language from the modalities of text, visual, and acoustic by modeling both intra-modal and cross-modal interactions. BERT (Bidirectional Encoder Representations from Transformers) provides strong contextual language representations after training on large-scale unlabeled corpora. Fine-tuning the vanilla BERT model has shown promising results in building state-of-the-art models for diverse NLP tasks like question answering and language inference. However, fine-tuning BERT in the presence of information from other modalities remains an open research problem. In this paper, we inject multimodal information within the input space of BERT network for modeling multimodal language. The proposed injection method allows BERT to reach a new state of the art of $84.38\%$ binary accuracy on CMU-MOSI dataset (multimodal sentiment analysis) with a gap of 5.98 percent to the previous state of the art and 1.02 percent to the text-only BERT.

研究の動機と目的

• BERTの微調整をマルチモーダル言語理解に適用する課題に対処すること、特に視覚や音声といった追加モダリティが効果的に統合されていない点に焦点を当てる。
• BERTのクロスモダリティ相互作用をモデル化する能力を高めることで、マルチモーダル感情分析タスクのパフォーマンスを向上させること。
• BERTの入力表現に直接マルチモーダル信号を統合することで、CMU-MOSIベンチマークでSOTAの結果を達成すること。
• 入力空間へのマルチモーダル特徴の統合が、マルチモーダルBERTモデルにおけるアーキテクチャの変更に代わる単純で効果的な代替戦略であることを示すこと。

提案手法

• 提案手法は、トランスフォーマー・エンコーダーの前段階で、BERTの入力埋め込み層にモダリティ固有の特徴（テキスト、視覚、音声）を統合する。
• マルチモーダル特徴は、元のBERT入力埋め込みと連結され、モデルの事前学習済みアテンションメカニズムが保持される。
• モデルはイ早融合を採用し、異なるモダリティからの特徴がBERTエンコーダーが処理する前に入力レベルで統合される。
• 入力表現は、BERTプールド・トークン埋め込みと、視覚および音声からのモダリティ固有の特徴を連結することで構築される。
• 標準的なBERT最適化および損失関数を用いて、CMU-MOSIデータセット上でエンドツーエンドで微調整される。
• このアプローチは、元のBERTアーキテクチャを維持し、アテンションメカニズムやトランスフォーマーレイヤーに変更を加えない。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、BERTの入力空間にマルチモーダル情報を効果的に統合できるか？
• RQ2 テキスト、視覚、音声の入力レベル統合が、マルチモーダル感情分類のパフォーマンスをどのように向上させるか？
• RQ3 提案手法が、ベンチマークデータセット上でヴァナイルBERTおよび先行マルチモーダルBERTモデルをどの程度上回るか？
• RQ4 マルチモーダル特徴のイ早融合は、後段の統合やモダリティ固有の適応と比較して、より優れたクロスモダリティ相互作用学習をもたらすか？
• RQ5 単純な入力統合戦略が、マルチモーダル感情分析でSOTAの結果を達成できるか？

主な発見

• M-BERTは、マルチモーダル感情分析において、CMU-MOSIデータセットで84.38%のバイナリ精度という、新たなSOTAを達成した。
• モデルはヴァナイルBERTベースラインを1.02ポイント上回り、マルチモーダル統合の有効性を示した。
• 前回のSOTAを5.98ポイント上回り、顕著なパフォーマンス向上を示した。
• 結果から、BERTアーキテクチャを変更せずに、マルチモーダル特徴の入力空間への統合が強力なパフォーマンスを達成するのに十分であることが示された。
• このアプローチは、BERTの効率性とスケーラビリティを維持しながら、強固なマルチモーダル理解を可能にした。
• この手法の成功は、マルチモーダルNLPタスクにおける入力空間でのイ早融合が、実用的で効果的な戦略である可能性を示唆している。