[論文レビュー] Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models

Sarala Padi, Seyed Omid Sadjadi+2 more|arXiv (Cornell University)|Feb 16, 2022

Emotion and Mood Recognition被引用数 10

ひとこと要約

本稿では、音声用に事前学習されたResNetモデルからの転移学習と、テキスト用に微調整されたBERTを活用し、後期融合によって統合することで、性能を向上させるマルチモーダル感情認識フレームワークを提案する。データ不足の課題にもかかわらず、IEMOCAPデータセットにおいて、テキスト単体で70.33%、マルチモーダル統合で71.12%の発話単位正答率を達成し、最先端の結果を実現した。

ABSTRACT

Automatic emotion recognition plays a key role in computer-human interaction as it has the potential to enrich the next-generation artificial intelligence with emotional intelligence. It finds applications in customer and/or representative behavior analysis in call centers, gaming, personal assistants, and social robots, to mention a few. Therefore, there has been an increasing demand to develop robust automatic methods to analyze and recognize the various emotions. In this paper, we propose a neural network-based emotion recognition framework that uses a late fusion of transfer-learned and fine-tuned models from speech and text modalities. More specifically, we i) adapt a residual network (ResNet) based model trained on a large-scale speaker recognition task using transfer learning along with a spectrogram augmentation approach to recognize emotions from speech, and ii) use a fine-tuned bidirectional encoder representations from transformers (BERT) based model to represent and recognize emotions from the text. The proposed system then combines the ResNet and BERT-based model scores using a late fusion strategy to further improve the emotion recognition performance. The proposed multimodal solution addresses the data scarcity limitation in emotion recognition using transfer learning, data augmentation, and fine-tuning, thereby improving the generalization performance of the emotion recognition models. We evaluate the effectiveness of our proposed multimodal approach on the interactive emotional dyadic motion capture (IEMOCAP) dataset. Experimental results indicate that both audio and text-based models improve the emotion recognition performance and that the proposed multimodal solution achieves state-of-the-art results on the IEMOCAP benchmark.

研究の動機と目的

• データスパarsityに起因する音声およびテキストベースの感情認識の課題を、事前学習モデルからの転移学習を活用することで解決すること。
• スペクトログラムの増幅と微調整技術を用いて、感情認識における一般化性能を向上させること。
• 補完的な音声およびテキスト表現の後期統合により、性能を向上させること。
• スピーカー認識からの転移学習とBERTを活用し、IEMOCAPベンチマークで最先端の結果を達成すること。
• データ豊富なタスク（例：スピーカー認識、言語モデリング）で事前学習されたモデルを、リソースが限られた感情認識タスクに再利用することで、その有効性を示すこと。

提案手法

• スクリプト化された発話と即興の発話を含む、IEMOCAPデータセット全体を用い、5分割交差検証戦略を採用してシステムを訓練および評価する。
• 高分解能のログメルスペクトログ램を用いて、元々スピーカー認識で学習された事前学習済みResNet34モデルを、音声感情認識用に微調整する。
• ランダムな時間周波数マスキングを用いたスペクトログ램増幅を適用し、訓練データの多様性を高め、過学習を軽減する。
• 翻訳済みテキストから文脈を考慮した文の埋め込みを抽出するため、事前学習済みBERTモデルを用い、感情分類用に微調整する。
• 音声およびテキストモデルの予測された感情スコアを後期統合により統合し、補完的なモダリティを活用する。
• 両モダリティからの信頼度スコアを平均化することで、最終予測性能を向上させるための統合戦略を最適化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みスピーカー認識モデルからの転移学習が、データスパarsity下でも音声感情認識性能を向上させ得るか？
• RQ2 テキストデータ上でBERTベースのモデルを微調整することで、感情認識の正答率を顕著に向上させられるか？
• RQ3 音声およびテキスト予測の後期統合は、単一モダリティ手法よりも優れた性能を示すか？
• RQ4 本手法は、IEMOCAPベンチマークにおいて最先端のモデルと比較してどうなるか？
• RQ5 スペクトログラム増幅は、音声ベースの感情認識における一般化性能をどの程度向上させるか？

主な発見

• 提案された音声単体モデルは、IEMOCAPデータセットで65.97%の発話単位正答率を達成し、wav2vec-Base や HuBERT-Base よりも優れた性能を示した。
• テキスト単体モデルは70.33%の発話単位正答率を達成し、BERT+CNN や BERT+attention よりも高い最先端の結果を達成した。
• 後期統合によるマルチモーダルシステムは71.12%の発話単位正答率を達成し、IEMOCAPベンチマークで最先端の結果を記録した。
• スペクトログラム増幅の適用により、モデルの一般化性能が向上し、特にラベル付きデータが限られる状況で過学習が軽減された。
• BERTモデルを感情認識用に微調整することで、固定特徴抽出器として使用する場合に比べ、顕著な性能向上が得られた。
• 2200万パラメータ未満という少ないパラメータ数で、HuBERT-Large や WavLM-Large といった大規模自己教師ありモデルを上回るパラメータ効率を達成した。