[論文レビュー] LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences

Ziwang Fu, Feng Liu+6 more|arXiv (Cornell University)|Dec 3, 2021

Emotion and Mood Recognition被引用数 5

ひとこと要約

本稿では、非同期な音声、視覚的、言語的シーケンスから、補完的でモダリティ統合型の表現を学習する軽量なトランスフォーマー基盤モデルであるLMR-CBTを提案する。局所的時間的モデリングを備えた新規のCB-Transformer、残差ベースのクロスモダリティ統合、およびグローバル自己注意機構を用いることで、わずか0.35M～0.41Mパラメータで最先端の性能を達成し、IEMOCAP、CMU-MOSI、CMU-MOSEIで大規模モデルを上回る性能を発揮する。

ABSTRACT

Learning modality-fused representations and processing unaligned multimodal sequences are meaningful and challenging in multimodal emotion recognition. Existing approaches use directional pairwise attention or a message hub to fuse language, visual, and audio modalities. However, those approaches introduce information redundancy when fusing features and are inefficient without considering the complementarity of modalities. In this paper, we propose an efficient neural network to learn modality-fused representations with CB-Transformer (LMR-CBT) for multimodal emotion recognition from unaligned multimodal sequences. Specifically, we first perform feature extraction for the three modalities respectively to obtain the local structure of the sequences. Then, we design a novel transformer with cross-modal blocks (CB-Transformer) that enables complementary learning of different modalities, mainly divided into local temporal learning,cross-modal feature fusion and global self-attention representations. In addition, we splice the fused features with the original features to classify the emotions of the sequences. Finally, we conduct word-aligned and unaligned experiments on three challenging datasets, IEMOCAP, CMU-MOSI, and CMU-MOSEI. The experimental results show the superiority and efficiency of our proposed method in both settings. Compared with the mainstream methods, our approach reaches the state-of-the-art with a minimum number of parameters.

研究の動機と目的

• 感情認識における非同期なマルチモーダルシーケンスから効果的で補完的な表現を学習する課題に対処すること。
• ペairワイズまたはハブベースの注意メカニズムと比較して、クロスモダリティ統合における情報の重複を低減し、効率を向上させること。
• 実世界のデプロイメントに適した、最小限のパラメータで高い性能を維持する軽量アーキテクチャを設計すること。
• BiLSTMを用いて文脈的な言語表現を学習し、外部のメッセージハブを導入せずに特徴統合を強化すること。
• アラインメントあり・なしの両設定で標準ベンチマーク上で手法を検証し、頑健性と効率性を示すこと。

提案手法

• 各モダリティごとに別々に特徴抽出を実施：テキストにはBiLSTM、音声およびビデオには1次元畳み込みを用い、局所的時間的構造を捉える。
• 新規のCB-Transformerアーキテクチャを導入し、3段階の構成とする：局所的時間的学習、残差ベースの相互作用によるクロスモダリティ特徴統合、グローバル自己注意。
• クロスモダリティ統合では、すべての3モダリティの特徴を残差接続で統合し、冗長な情報の発生を回避するとともに、元の表現を保持する。
• 分類の最終段階の前に、統合された特徴と元のモダリティ特徴を連結することで、表現の豊かさを向上させる。
• 明示的なアライメントなしに、非同期なマルチモーダルシーケンス上でエンドツーエンドに学習し、注意メカニズムに依存してクロスモダリティ依存関係をモデル化する。
• パラメータ効率を最適化したアーキテクチャであり、わずか0.35M～0.41Mパラメータで構成され、低リソース環境に適している。

実験結果

リサーチクエスチョン

• RQ1 明示的なアライメントなしに、非同期なマルチモーダルシーケンスから補完的表現を効果的に学習できる軽量なトランスフォーマー基盤モデルは存在するか？
• RQ2 ペアワイズ注意または集中型メッセージハブと比較して、残差ベースのクロスモダリティ統合は、性能および効率性においてどのように異なるか？
• RQ3 Conv1Dのような単純なエンコーダーと比較して、言語表現にBiLSTMを用いることで、感情認識性能はどの程度向上するか？
• RQ4 コンactなモデルが最小限のパラメータでマルチモーダル感情認識ベンチマークで最先端の性能を達成できるか？
• RQ5 提案手法は、アラインメント条件が異なるさまざまなデータセットにどのように一般化するか？

主な発見

• LMR-CBTは、非同期設定下でIEMOCAP、CMU-MOSI、CMU-MOSEIで最先端の性能を達成し、F1スコアはそれぞれ81.0%、81.5%、81.2%を記録した。
• CMU-MOSEIでは、わずか0.41Mパラメータで81.5%のF1を達成し、MISA（15.9Mパラメータ）およびPMR（2.15Mパラメータ）を上回り、パラメータ数が1桁少ない。
• 非同期条件下でCMU-MOSEIで51.8%の精度を達成し、PMR（51.8%）およびMISA（52.1%）をF1スコアで上回りながら、顕著に少ないパラメータ数を用いた。
• アブレーションスタディの結果、BiLSTMはConv1Dに比べてF1スコアを1.4%向上させ、長距離言語的依存関係をモデル化する優位性を確認した。
• 特に[V, A]->L統合設定が最良の性能を示し、言語モダリティが音声・視覚統合から最も恩恵を受けることを示唆している。一方、音声のみの統合は最も効果が低かった。
• CB-Transformerの設計により、冗長性が低減され、効率性が維持され、精度およびパラメータ効率の両面でペアワイズ注意およびメッセージハブ手法を上回った。