[論文レビュー] Cross-Modality Gated Attention Fusion for Multimodal Sentiment Analysis

Ming Jiang, Shaoxiong Ji|arXiv (Cornell University)|Aug 25, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本論文は、マルチモーダルセンチメント分析のためのクロスモダリティゲートドアテンション統合モデルであるCMGAを提案する。この手法は、モダリティペア間のクロスアテンションと、ノイズ信号をフィルタリングするフォーゲットゲートを用いる。CMGAは、モダリティ固有の特徴を保持しながらクロスモダリティ相互作用を強化することで、MOSIおよびMOSEIデータセットで最先端の性能を達成する。

ABSTRACT

Multimodal sentiment analysis is an important research task to predict the sentiment score based on the different modality data from a specific opinion video. Many previous pieces of research have proved the significance of utilizing the shared and unique information across different modalities. However, the high-order combined signals from multimodal data would also help extract satisfied representations. In this paper, we propose CMGA, a Cross-Modality Gated Attention fusion model for MSA that tends to make adequate interaction across different modality pairs. CMGA also adds a forget gate to filter the noisy and redundant signals introduced in the interaction procedure. We experiment on two benchmark datasets in MSA, MOSI, and MOSEI, illustrating the performance of CMGA over several baseline models. We also conduct the ablation study to demonstrate the function of different components inside CMGA.

研究の動機と目的

• マルチモーダル相互作用に伴い生じるノイズや冗長な信号の問題に対処すること。
• すべてのモダリティペア（テキスト–ビデオ、ビデオ–音声、テキスト–音声）間の明示的な相互作用をモデル化することで、クロスモダリティ特徴統合を向上させること。
• 共有信号を効果的に統合しつつ、モダリティ固有の特徴を保持すること。
• 不要または冗長なアテンション特徴をフィルタリングするフォーゲットゲート機構を通じて、センチメント予測性能を向上させること。
• モダリティの重要度およびアーキテクチャモジュールに関するアブレーションスタディを通じて、構成要素の有効性を検証すること。

提案手法

• テキストには事前学習されたBERTを、ビデオおよび音声特徴にはBi-LSTMに全結合層を適用し、すべての特徴を共有次元 $ d_k $ に投影する。
• テキスト–ビデオ、ビデオ–音声、テキスト–音声の3つのモダリティペアに対してクロスモダリティアテンションを適用し、ペアモダリティから得られるクエリ、キー、バリュー行列を用いる。
• 各ペアに対して、一方のモダリティをクエリとして、他方をキー/バリューとして用いることで、重み付き相互作用を計算し、クロスモダリティのアライメントを実現する。
• クロスアテンション出力にフォーゲットゲートを適用し、ノイズや冗長な特徴を抑制することで、統合表現における信号対ノイズ比を向上させる。
• 残差接続を用いて元のモダリティ特徴を保持し、学習中の劣化を防ぐ。
• トランスフォーマーに基づく統合層が、洗練されたクロスアテンション特徴を集約し、最終的なセンチメントスコアを予測する。

実験結果

リサーチクエスチョン

• RQ1 提案されたCMGAモデルは、従来のマルチモーダル統合手法と比較して、どのようにセンチメント予測精度を向上させるか？
• RQ2 フォーゲットゲート機構は、クロスモダリティアテンションの過程で、冗長またはノイズの多い信号をどのようにフィルタリングするか？
• RQ3 異なるモダリティ相互作用の順序（例：(テキスト, ビデオ) 対 (ビデオ, テキスト)）がモデル性能に与える影響は何か？
• RQ4 各モダリティ（テキスト、ビデオ、音声）が最終予測に果たす個別の寄与度は何か？また、それらを除去した場合の性能への影響は？
• RQ5 クロスアテンションや残差接続といったアーキテクチャコンポーネントは、モデルの有効性にどのように影響を与えるか？

主な発見

• MOSIデータセットでは、CMGAがMAE 0.790およびAcc-7 43.29を達成し、大多数の評価指標でベースラインモデルを上回る性能を示した。
• MOSEIデータセットでは、CMGAがMAE 0.545およびAcc-7 53.03を達成し、データセット間での一般化性能が優れていることを示した。
• アブレーションスタディでは、フォーゲットゲートを除去すると、MOSIでMAEが0.856に上昇し、MOSEIで0.594に上昇し、ノイズ抑制におけるその役割を確認した。
• クロスアテンション機構を除去すると、性能が著しく低下し、MOSIでMAEが0.845に、MOSEIで0.587に上昇した。これは、クロスモダリティ学習におけるその重要性を示している。
• アブレーションスタディの結果、テキストモダリティが性能に最も顕著な寄与をしていることが判明した。テキストを除去すると、MOSIで30.51%まで精度が低下した。
• モダリティペアの順序を逆転させた結果、テキスト→ビデオアテンションがビデオ→音声アテンションよりも重要であることが判明した。特に、(テキスト, ビデオ) を (ビデオ, テキスト) に逆転させた場合、MOSIでMAEが0.790から0.814に上昇し、性能低下が顕著に見られた。