[論文レビュー] Bimodal Speech Emotion Recognition Using Pre-Trained Language Models

Verena Heußer, Niklas Freymuth+2 more|arXiv (Cornell University)|Jan 1, 2019

Emotion and Mood Recognition参考文献 68被引用数 9

ひとこと要約

本稿では、事前学習された言語モデル（BERT/XLNet）と音声感情認識（SER）を組み合わせることで、向上した感情分類を実現するモジュラーバイモーダルフレームワーク、IEmoNetを提案する。テキストの微調整と別個のSERシステムとの統合により、提供された発話文を用いた場合、IEMOCAPデータセットで73.5％の正確性を達成し、自動発話文を用いた場合でも71.4％の正確性を示した。これは、事前学習モデルがマルチモーダル感情認識に有効であることを示している。

ABSTRACT

Speech emotion recognition is a challenging task and an important step towards more natural human-machine interaction. We show that pre-trained language models can be fine-tuned for text emotion recognition, achieving an accuracy of 69.5% on Task 4A of SemEval 2017, improving upon the previous state of the art by over 3% absolute. We combine these language models with speech emotion recognition, achieving results of 73.5% accuracy when using provided transcriptions and speech data on a subset of four classes of the IEMOCAP dataset. The use of noise-induced transcriptions and speech data results in an accuracy of 71.4%. For our experiments, we created IEmoNet, a modular and adaptable bimodal framework for speech emotion recognition based on pre-trained language models. Lastly, we discuss the idea of using an emotional classifier as a reward for reinforcement learning as a step towards more successful and convenient human-machine interaction.

研究の動機と目的

• 音声特徴と事前学習された言語モデルを統合することで、音声感情認識を向上させること。
• テキストと音声のコンponentを別々に学習できる、モジュラーフレームワークとしての柔軟性を備えたバイモーダル感情認識のためのアーキテクチャを開発すること。
• 強化学習におけるより自然な人間-マシン対話のため、感情分類を報酬信号として用いることの可能性を検討すること。
• 事前学習された言語モデルのテキスト感情認識性能を評価し、音声ベースの感情認識と統合する方法を検討すること。
• マルチモーダル感情認識において、自動音声認識（ASR）による発話文と真値発話文の影響を評価すること。

提案手法

• Sem情2017タスク4Aデータセットを用いて、BERTとXLNetをテキスト感情認識のために微調整し、69.5％の正確性を達成した。
• ASR、SER、TERサブモジュールを別々に学習可能とする、独立したモジュール構造を持つIEmoNetを設計した。
• 微調整済みの事前学習言語モデルと音声感情認識モデルを、共有分類ヘッドを介して統合した。
• IEMOCAPデータセットの評価に10分割交差検証を用い、提供済みおよびノイズを含む発話文を用いた。
• 過学習を回避し、効率を維持するため、分類ヘッドと言語モデルの一部の層のみを学習した。
• 4つの感情クラスにおける重み付き正確性（WA）と重みなし正確性（UA）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 BERT や XLNet といった事前学習言語モデルは、テキスト感情認識に効果的に微調整可能であり、標準ベンチマーク上で性能向上をもたらすか？
• RQ2 事前学習言語モデルと音声感情認識モデルを統合することで、バイモーダル環境における全体の分類正確性にどのような影響を与えるか？
• RQ3 マルチモーダル感情認識システムにおいて、真値発話文と自動生成（ノイズを含む）発話文の間で性能にどのような差が生じるか？
• RQ4 IEmoNetのようなモジュラーフレームワークは、モデル全体を再学習することなく、効率的かつ柔軟に高性能なバイモーダル感情認識を可能にするか？
• RQ5 自動感情認識を強化学習における報酬信号として用いることは、対話システムの性能向上に実現可能か？

主な発見

• SemEval 2017 タスク4A で BERT と XLNet を微調整した結果、69.5％の正確性を達成し、前回の最先端技術を3ポイント以上上回った。
• 提供済みの発話文と音声データを用いた場合、IEmoNetは IEMOCAP データセットで73.5％の重み付き正確性を達成し、BERT を用いたテキストモデリングが有効であった。
• ノイズを含む自動発話文（シミュレート）を用いた場合、71.4％の重み付き正確性を達成し、発話文の誤りに対して高い耐性を示した。
• 最も優れた性能を示した SER モデルは、双方向LSTMと自己注意機構のハイブリッドであり、128次元の注意機構を備えており、IEMOCAP で63.8％の重みなし正確性を達成した。
• 分類ヘッドと言語モデルの一部の層のみを微調整した結果、エンドツーエンドの微調整よりも優れた性能を示した。これは、大規模な事前学習モデルの支配的特性によるものと推定される。
• IEmoNet のモジュラーデザインにより、モデル全体を再学習することなく、テキストおよび音声コンponentの即時交換（プラグアンドプレイ）が可能となった。