[論文レビュー] Cross Lingual Cross Corpus Speech Emotion Recognition

Shivali Goel, Homayoon Beigi|arXiv (Cornell University)|Mar 18, 2020

Emotion and Mood Recognition参考文献 24被引用数 15

ひとこと要約

本稿は、感情と言語IDを同時に予測するマルチタスク学習フレームワークを用いて、多言語・多コーパス音声感情認識（SER）を調査する。IS09特徴量がMFCCを上回ること、転移学習が小規模データセットで性能を向上させること、言語IDを補助タスクとして追加しても顕著な向上が得られないこと——これらは、4つの言語において、音声における感情表現が主に言語に依存しないことを示唆している。

ABSTRACT

The majority of existing speech emotion recognition models are trained and evaluated on a single corpus and a single language setting. These systems do not perform as well when applied in a cross-corpus and cross-language scenario. This paper presents results for speech emotion recognition for 4 languages in both single corpus and cross corpus setting. Additionally, since multi-task learning (MTL) with gender, naturalness and arousal as auxiliary tasks has shown to enhance the generalisation capabilities of the emotion models, this paper introduces language ID as another auxiliary task in MTL framework to explore the role of spoken language on emotion recognition which has not been studied yet.

研究の動機と目的

• あるコーパスや言語で訓練されたモデルが、異なるコーパスや言語に適用された際のSER性能のギャップを解消すること。
• 音声における感情表現に言語が影響を与えるかどうかを、SER分野でほとんど研究されていない要因として調査すること。
• 性別、自然さ、覚醒度、言語IDを補助タスクとして用いた転移学習とマルチタスク学習（MTL）の有効性を評価すること。
• 一貫した特徴量セットとデータ分割を用いて、従来の機械学習（SVC）とディープラーニング（LSTM）を比較すること。
• 複数言語における多様で低リソースな、および演技された音声コーパスにおける一般化性能を評価すること。

提案手法

• 5つの多様な音声感情認識コーパス（EMO-DB：ドイツ語、SAVEE：英語、EMOVO：イタリア語、MASC：中国語、IEMOCAP：英語）を用いた。
• IS09およびMFCC特徴量を抽出し、ロジスティック回帰、SVC、LSTM分類器を用いてベースラインおよび転移学習実験を実施した。
• IEMOCAP（大規模な英語コーパス）で事前学習し、小規模データセットで微調整することで転移学習を実装した。
• 共有されたLSTMバックボーンを用いて、感情と言語IDを同時に予測するマルチタスク学習フレームワークを設計した。
• 標準化された訓練・テスト分割を用いて、クロスコーパスおよびクロスリンガル設定における精度スコアで性能を評価した。
• 単一タスクとマルチタスクモデルの比較を実施したアブレーションスタディを実施し、同一のデータ分割と前処理を用いて先行研究と結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 複数言語にまたがる単一コーパスとクロスコーパス設定におけるSERのモデル性能は、どのように変化するか？
• RQ2 マルチタスク学習において言語識別を補助タスクとして組み込むことで、多言語にまたがる感情認識性能が向上するか？
• RQ3 IS09とMFCCのどちらの特徴量セットが、多様なコーパスおよび言語でより優れたSER性能を達成するか？
• RQ4 大規模コーパス（IEMOCAP）からの転移学習が、小規模で低リソースなコーパスにおけるSER精度をどの程度向上させるか？
• RQ5 最適な特徴量（例：IS09）を用いた従来の機械学習モデル（例：SVC）が、同一の分割条件下でディープラーニングモデルを上回る性能を示せるか？

主な発見

• IS09特徴量は、すべてのデータセットでMFCCを顕著に上回り、SVCを用いたEMO-DBでは最高の精度（88.37%）を達成した。
• 転移学習は小規模データセットにおけるSER性能を向上させた：IEMOCAPで事前学習した後、EMODBで微調整することで、精度を46.51%から83.72%に向上させた。
• マルチタスク学習において言語IDを補助タスクとして追加しても、感情認識精度に顕著な向上が得られなかった。これは、感情表現が主に言語に依存しないことを示唆している。
• IS09特徴量を用いた従来の機械学習モデル（SVC）は、EMODBで65.00%、IEMOCAPで61.00%の精度を達成し、同一の分割条件下で先行のディープラーニングモデルを上回った。
• マルチタスクモデルは言語IDを97%以上の精度で予測できた。言語アイデンティティが学習可能であることは確認されたが、その追加は感情認識性能の向上に寄与しなかった。
• EMOVOでは微調整実験で性能がわずかに低下した。これは、同じ言語系列内でもドメインシフトやデータ分布の違いが生じている可能性を示唆している。