[論文レビュー] Multi-Task Semi-Supervised Adversarial Autoencoding for Speech Emotion Recognition

Siddique Latif, Rajib Rana+4 more|arXiv (Cornell University)|Jul 13, 2019

Speech and Audio Processing被引用数 8

ひとこと要約

本稿では、性別認識および話者認識という補助タスクから得られる大規模なラベルなしデータを活用して、ラベル付きデータが限られる状況下でもスティムエモーション認識（SER）の性能を向上させる、マルチタスク半教師あり対抗オートエンコーダー枠組みを提案する。限られたラベル付き感情データと豊富なラベルなしデータを、対抗オートエンコーディングと損失重み付きマルチタスク最適化により同時に学習することで、IEMOCAPおよびMSP-IMPROVデータセットにおいて、カテゴリー的および次元的感情分類の両面で最先端の結果を達成した。

ABSTRACT

Inspite the emerging importance of Speech Emotion Recognition (SER), the state-of-the-art accuracy is quite low and needs improvement to make commercial applications of SER viable. A key underlying reason for the low accuracy is the scarcity of emotion datasets, which is a challenge for developing any robust machine learning model in general. In this paper, we propose a solution to this problem: a multi-task learning framework that uses auxiliary tasks for which data is abundantly available. We show that utilisation of this additional data can improve the primary task of SER for which only limited labelled data is available. In particular, we use gender identifications and speaker recognition as auxiliary tasks, which allow the use of very large datasets, e.g., speaker classification datasets. To maximise the benefit of multi-task learning, we further use an adversarial autoencoder (AAE) within our framework, which has a strong capability to learn powerful and discriminative features. Furthermore, the unsupervised AAE in combination with the supervised classification networks enables semi-supervised learning which incorporates a discriminative component in the AAE unsupervised training pipeline. This semi-supervised learning essentially helps to improve generalisation of our framework and thus leads to improvements in SER performance. The proposed model is rigorously evaluated for categorical and dimensional emotion, and cross-corpus scenarios. Experimental results demonstrate that the proposed model achieves state-of-the-art performance on two publicly available datasets.

研究の動機と目的

• ラベル付き音声感情データが限られるという深刻な課題に対処し、堅牢なSERモデルの開発を促進すること。
• 関連する補助タスクから得られる豊富なラベルなしデータを活用することで、音声感情認識の一般化性能と性能を向上させること。
• 対抗オートエンコーディングとマルチタスク学習を統合し、SERにおける半教師あり表現学習を実現すること。
• 補助タスクからのデータ寄与度と損失重みが主たるSER性能に与える影響を調査すること。
• クロスコーパス設定下でも、カテゴリー的および次元的感情分類の両方で最先端の結果を達成すること。

提案手法

• フレームワークは、音声感情認識を主たるタスクとし、性別および話者認識を補助タスクとするマルチタスク学習の枠組みを採用する。
• 対抗オートエンコーダー（AAE）を用いて、教師なしの方法で強力で、分離可能かつ判別性の高い音声表現を学習する。
• AAEに主たるタスクおよび補助タスクの教師あり分類ヘッドを組み合わせることで、ラベルなしデータを活用する半教師あり学習を可能にする。
• 損失関数はハイパーパrameter α（非教師ありタスク）および β（教師あり主たるおよび補助タスク）を用いて重み付けされ、各コンponentの寄与度を制御可能である。
• 再構成損失、対抗損失、分類損失をバランスさせる統合的目的関数を用いて、エンドツーエンドでモデルを訓練する。
• フレームワークは、IEMOCAPおよびMSP-IMPROVデータセットを用いて、カテゴリー的感情、価値（valence）、活性度（activation）分類の評価が行われた。

Figure 1 : Illustration of our proposed multitask framework using a semi-supervised adversarial autoencoder (AAE).

実験結果

リサーチクエスチョン

• RQ1 補助タスク（性別および話者認識）から得られる大規模なラベルなしデータを活用することで、リソースが限られた音声感情認識の性能が向上するか？
• RQ2 対抗オートエンコーディングの統合が、マルチタスク半教師ありSERフレームワークにおける表現学習をどのように向上させるか？
• RQ3 SERの精度を最大化するための、非教師ありおよび教師あり損失の最適なバランス（αおよびβで制御）は何か？
• RQ4 複数の補助タスクを併用することで、個別に使用する場合よりも高い性能が得られるか？
• RQ5 提案されたモデルは、カテゴリー的と次元的分類の両方の感情分類パラダイムおよびクロスコーパス状況において、どのように一般化するか？

主な発見

• 提案モデルは、IEMOCAPおよびMSP-IMPROVデータセットにおいて、カテゴリー的、価値（valence）、活性度（activation）分類の両方で最先端の性能を達成した。
• 限られたラベル付き感情データしか利用できない状況下でも、大規模なラベルなしデータを活用する補助タスクを用いることで、顕著な性能向上が確認された。
• 非教師あり損失重みαの最適範囲は 0.4–0.6 であり、この範囲外の値は性能を低下させる。
• 教師ありタスク重みβの最適範囲は 0.4–0.7 であり、極端に高いまたは極端に低い値は精度を低下させる。
• 性別認識および話者認識の両方を補助タスクとして併用することで、単体で使用する場合よりも高い性能が得られた。
• クロスコーパス評価状況においても、強い一般化性能を示し、ドメインシフトに対して頑健であることが示された。

Figure 2 : Three clusters of the MSP-IMPROV data in the valence-activation space.