[論文レビュー] Multi-level Fusion of Wav2vec 2.0 and BERT for Multimodal Emotion Recognition

Zihan Zhao, Yanfeng Wang+1 more|arXiv (Cornell University)|Jul 11, 2022

Emotion and Mood Recognition被引用数 5

ひとこと要約

本稿では、wav2vec 2.0 と BERT の埋め込みを統合するマルチレベル融合フレームワークを提案し、共注意力を用いた早期融合と後期融合を組み合わせ、新規のマルチスケール音声埋め込み抽出法（フレーム、音素、音節、語彙レベル）を活用することで、マルチモodal感情認識を実現する。提案手法は IEMOCAP データセットで 76.31% の未加重正答率を達成し、最先端手法を 1.3% 上回る性能を示した。

ABSTRACT

The research and applications of multimodal emotion recognition have become increasingly popular recently. However, multimodal emotion recognition faces the challenge of lack of data. To solve this problem, we propose to use transfer learning which leverages state-of-the-art pre-trained models including wav2vec 2.0 and BERT for this task. Multi-level fusion approaches including coattention-based early fusion and late fusion with the models trained on both embeddings are explored. Also, a multi-granularity framework which extracts not only frame-level speech embeddings but also segment-level embeddings including phone, syllable and word-level speech embeddings is proposed to further boost the performance. By combining our coattention-based early fusion model and late fusion model with the multi-granularity feature extraction framework, we obtain result that outperforms best baseline approaches by 1.3% unweighted accuracy (UA) on the IEMOCAP dataset.

研究の動機と目的

• 事前学習モデルを用いたトランスファーラーニングにより、マルチモダリティ感情認識におけるデータスパarsity を緩和すること。
• テキスト（BERT）と音声（wav2vec 2.0）モダリティ間の有効な統合戦略（早期融合と後期融合）を検討すること。
• フレーム、音素、音節、語彙レベルで音声埋め込みを抽出するマルチスケールフレームワークを導入することで、性能を向上させること。
• 早期融合と後期融合の複数の統合レベルを組み合わせることで、個別の統合手法よりも優れた性能が得られることを示すこと。
• 統一された 5 折り交差検証設定を用いて、IEMOCAP ベンチマークで既存の最先端手法を上回ること。

提案手法

• テキストモダリティと音声モダリティの両方に対して、事前学習済みの BERT と wav2vec 2.0 を固定された特徴抽出器として使用する。
• wav2vec 2.0 を用いて、フレーム、音素、音節、語彙レベルで音声埋め込みを抽出するマルチスケール音声埋め込みフレームワークを実装する。
• 注意メカニズムを用いて動的に統合・融合する共注意力ベースの早期融合を適用する。
• 別々の BERT および wav2vec 2.0 モデルからの予測ログチを連結することで、後期融合を実装する。
• 最も優れた早期融合（F+P）と後期融合（F+S）の構成を組み合わせ、マルチレベル融合を達成する。
• IEMOCAP データセットに対して 5 折り交差検証を実施し、先行研究と公平に比較評価する。

実験結果

リサーチクエスチョン

• RQ1 BERT と wav2vec 2.0 の埋め込みを共注意力ベースで早期融合することで、単純な連結手法よりもマルチモダリティ感情認識の性能が向上するか？
• RQ2 音素、音節、語彙レベルのセグメント単位の音声埋め込みを組み込むことで、フレームレベルの埋め込みのみに比べて性能が向上するか？
• RQ3 モダリティ固有のモデルの後期融合は、早期融合を上回る性能を示すか？
• RQ4 早期融合と後期融合の戦略を組み合わせることで、単一の統合レベルよりもさらなる性能向上が達成できるか？
• RQ5 提案されたマルチスケール融合フレームワークは、IEMOCAP ベンチマークで最先端手法と比較してどのように評価されるか？

主な発見

• 共注意力ベースの早期融合モデルは、フレームおよび音素レベルの音声埋め込みを用いて 74.57% の未加重正答率（UA）を達成し、連結ベースの早期融合を約 3% 上回った。
• 後期融合モデルは常に早期融合モデルを上回り、最良の後期融合モデルはフレームおよび音節レベルの埋め込みを用いて 75.80% の UA を達成した。
• 最良の早期融合（F+P）と後期融合（F+S）の構成を統合したマルチレベル融合モデルは 76.31% の UA を達成し、最良のベースラインを 1.3% 上回った。
• セグメントレベルの埋め込みによる性能向上はアンサンブル効果によるものではなく、感情に関連するプロソディック情報を捉える能力に起因する。
• フレームレベルの音声とテキスト埋め込みのみを用いた本手法は、既存の大多数の最先端手法を上回る性能を示した。
• マルチスケールフレームワークは、早期融合および後期融合の両設定において顕著な性能向上をもたらし、マルチスケール音声表現の価値を裏付けた。