[論文レビュー] Towards Speech Emotion Recognition "in the wild" using Aggregated Corpora and Deep Multi-Task Learning

Jaebok Kim, Gwenn Englebienne+2 more|arXiv (Cornell University)|Aug 13, 2017

Emotion and Mood Recognition参考文献 25被引用数 17

ひとこと要約

本稿では、集約された多様な音声コーパスを用いて、感情認識に加えて性別と自然さを補助タスクとして同時に学習する深層マルチタスク学習（MTL）フレームワークを提案する。この手法により、クロスコーパス設定において一般化性能が著しく向上し、単一タスク学習（STL）と比較して未加重正答率で最大17.3ポイント向上した。また、特徴空間における高次元の感情表現がより判別可能になった。

ABSTRACT

One of the challenges in Speech Emotion Recognition (SER) "in the wild" is the large mismatch between training and test data (e.g. speakers and tasks). In order to improve the generalisation capabilities of the emotion models, we propose to use Multi-Task Learning (MTL) and use gender and naturalness as auxiliary tasks in deep neural networks. This method was evaluated in within-corpus and various cross-corpus classification experiments that simulate conditions "in the wild". In comparison to Single-Task Learning (STL) based state of the art methods, we found that our MTL method proposed improved performance significantly. Particularly, models using both gender and naturalness achieved more gains than those using either gender or naturalness separately. This benefit was also found in the high-level representations of the feature space, obtained from our method proposed, where discriminative emotional clusters could be observed.

研究の動機と目的

• 音声感情認識（SER）におけるドメインシフトの課題に対処すること。特に、トレーニングデータとテストデータの間で話者、タスク、録音環境に顕著な差が生じる状況を想定する。
• 感情音声コーパスに一般的に存在する性別と自然さという補助タスクを活用することで、モデルの一般化性能を向上させること。
• 実際の「野生の」展開状況を模擬するため、コーパス内およびクロスコーパス設定の両方でマルチタスク学習の有効性を評価すること。
• MTLから得られる共有表現が、感情分類に適したより判別性の高い高次元特徴を生成するかどうかを調査すること。

提案手法

• AIBO、EMODB、ENTERFACE、LDC、IEMOCAPの複数の多様な感情音声コーパスを統合し、実世界のデータ変動を模擬する単一のトレーニングセットを作成する。
• 主タスクは感情分類であり、性別と自然さを補助タスクとする深層ニューラルネットワーク（DNN）およびLSTMベースのアーキテクチャを設計する。
• すべてのタスクに共通する低レベル層を共有することで共有表現を学習し、高レベル分類に特化したタスク固有の層を別々に保持する。
• すべての3つのタスク（感情、性別、自然さ）の交差エントロピー損失を組み合わせた共同損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 高次元特徴表現の可視化と感情カテゴリのクラスタ分離性の評価のため、t分布確率的近傍多様体埋め込み（t-SNE）を適用する。
• コーパス内およびクロスコーパスの両方のテスト設定で、性能を定量的に評価するために未加重正答率（UA）と混同行列を用いる。

実験結果

リサーチクエスチョン

• RQ1 性別と自然さを補助タスクとして用いるマルチタスク学習は、クロスコーパス設定における音声感情認識モデルの一般化性能を向上させることができるか？
• RQ2 性別と自然さをサブタスクとして含めることで、特徴空間における感情音声の高次元表現がより判別可能になるか？
• RQ3 コーパス内およびクロスコーパス評価の両方において、マルチタスク学習と単一タスク学習の性能はどのように比較されるか？
• RQ4 性別と自然さの両方をサブタスクとして組み合わせた場合、片方のみを用いる場合と比較して性能向上が見られるか？
• RQ5 未知のコーパスに適用した場合、マルチタスク学習は一般化性能を損なうのか、それとも一貫して耐性を向上させるのか？

主な発見

• DNN-MTLモデルはクロスコーパス設定において、DNN-STLと比較して未加重正答率が17.3ポイント向上（35.9% → 53.4%）し、特に悲しみ（70%）と怒り（47%）の感情で顕著な向上が見られた。
• LSTM-MTLモデルはクロスコーパス評価でDNN-STLと比較して未加重正答率が6.3ポイント向上（56.5% → 62.8%）し、アーキテクチャの違いに関わらず一貫した向上が確認された。
• 性別と自然さを両方サブタスクとして組み合わせたALL-MTLが最も高い性能向上を示し、一般化性能の低下も見られず、片方の補助タスクのみを用いたモデルを上回った。
• t-SNEの可視化結果から、MTLモデルでは中立、喜び、悲しみ、怒りの感情カテゴリが、単一タスクモデルと比較してはるかに分離性が高く判別可能であるクラスタを形成していた。
• AIBOやIEMOCAPなどの大規模コーパスにおいて特に効果的であり、コーパス内評価でも顕著な向上が得られたことから、大規模データセットへのスケーラビリティが示唆された。
• 結果から、性別と自然さをサブタスクとして用いるMTLは、テストデータへのアクセスが不要な状況下でも、「野生の」条件下でのSER一般化性能を向上させる強力で効果的な戦略であると示唆された。