[論文レビュー] Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition

Krishna D. N|arXiv (Cornell University)|Aug 22, 2021

Speech Recognition and Synthesis参考文献 35被引用数 9

ひとこと要約

本稿では、音声用のwav2vec2.0とテキスト用のBERTを統合するクロスモーダルアテンション機構を提案し、マルチモーダル感情認識を向上させる。これらのモデルを共同で微調整し、特徴のアライメントとプールド発話レベル表現のイ早送り融合を実施することで、IEMOCAPデータセットにおいて前人最高の手法を1.88%の絶対的精度向上を達成した。

ABSTRACT

Recently, self-supervised pre-training has shown significant improvements in many areas of machine learning, including speech and NLP. We propose using large self-supervised pre-trained models for both audio and text modality with cross-modality attention for multimodal emotion recognition. We use Wav2Vec2.0 [1] as an audio encoder base for robust speech features extraction and the BERT model [2] as a text encoder base for better contextual representation of text. These high capacity models trained on large amounts of unlabeled data contain rich feature representations and improve the downstream task's performance. We use the cross-modal attention [3] mechanism to learn alignment between audio and text representations from self-supervised models. Cross-modal attention also helps in extracting interactive information between audio and text features. We obtain utterance-level feature representation from frame-level features using statistics pooling for both audio and text modality and combine them using the early fusion technique. Our experiments show that the proposed approach obtains a 1.88% absolute improvement in accuracy compared to the previous state-of-the-art method [3] on the IEMOCAP dataset [35]. We also conduct unimodal experiments for both audio and text modalities and compare them with previous best methods.

研究の動機と目的

• 音声およびテキスト用の大規模自己教師あり事前学習モデルを活用することで、マルチモーダル感情認識を向上させること。
• 感情認識におけるラベル付きデータの限界を、事前学習モデルからの豊富な表現を活用することで克服すること。
• クロスモーダルアテンション機構を用いて、モダリティ間の特徴相互作用を強化すること。
• 発話レベル表現のイ早送り融合が感情分類に与える有効性を評価すること。
• 事前学習モデルの共同微調整とクロスアテンションを用いて、IEMOCAPデータセットで新たなSOTA性能を確立すること。

提案手法

• 生波形から強力な自己教師あり音声表現を抽出するために、wav2vec2.0を音声エンコーダーのベースとして使用する。
• 768次元の隠れ層を持つ文脈に依存する単語埋め込みを生成するために、BERT-baseをテキストエンコーダーのベースとして採用する。
• 音声→テキストおよびテキスト→音声の両方向にクロスモーダルアテンション（CMA）を適用し、アライメントと相互作用特徴を学習する。
• フレームレベル特徴に対して統計プールングを適用し、両モダリティの発話レベル表現を生成する。
• 分類の前に、プールドされた音声およびテキスト特徴を連結することで、イ早送り融合を実行する。
• 検証損失に基づく学習率スケジューラを用い、Adam最適化手法でモデル全体をエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 wav2vec2.0やBERTのような大規模自己教師あり事前学習モデルを共同で微調整することで、マルチモーダル感情認識性能が向上するか？
• RQ2 クロスモーダルアテンションは、感情認識における音声およびテキスト表現間の特徴アライメントと相互作用を強化するか？
• RQ3 提案手法は、IEMOCAPデータセットにおける精度の観点から、従来のSOTA手法と比較してどのように異なるか？
• RQ4 同じ事前学習モデルとアーキテクチャを用いた場合、単一モダリティシステム（音声のみおよびテキストのみ）の性能はどの程度か？
• RQ5 トレーニング中に事前学習エンコーダーを固定すると、エンドツーエンド微調整と比較して性能が低下するか？

主な発見

• 提案手法は、IEMOCAPデータセットで74.71%の未加重精度を達成し、前人最高の手法を1.88%の絶対的向上を示した。
• wav2vec2.0にCNNおよびBLSTMを組み合わせた音声のみのモデルは、60.01%の未加重精度を達成し、従来の音声のみのアプローチを上回った。
• BERTで微調整されたテキストのみのモデルは、71.01%の未加重精度を達成し、従来のテキストのみの手法を上回った。
• アブレーションスタディの結果、事前学習モデルをクロスアテンションとともに共同で微調整することで、エンコーダーを固定した場合よりも優れた性能が得られた。
• クロスモーダルアテンション機構は、モダリティ間の依存関係を効果的に捉え、単一モダリティベースラインを上回る分類性能を向上させた。
• モデルは、マルチモーダルおよび単一モダリティの両設定において、競争力のある結果を示し、優れた一般化性能を示した。