[論文レビュー] Deep Multilayer Perceptrons for Dimensional Speech Emotion Recognition

Bagus Tris Atmaja, Masato Akagi|arXiv (Cornell University)|Apr 6, 2020

Emotion and Mood RecognitionPsychology参考文献 17被引用数 17

ひとこと要約

本論文は、GeMAPS低レベル記述子（LLD）から高次統計関数（HSF）を用いて入力次元を低減した深層マルチレイヤーパーセプトロン（MLP）を提案し、IEMOCAPおよびMSP-IMPROVデータセットにおいて、LSTM や CNN よりも優れた性能を示す。これは、スプライサーディペンデントおよびスプライサーレンジント設定の両方で、顕著に少ない計算リソースで実現された。

ABSTRACT

Modern deep learning architectures are ordinarily performed on high-performance computing facilities due to the large size of the input features and complexity of its model. This paper proposes traditional multilayer perceptrons (MLP) with deep layers and small input size to tackle that computation requirement limitation. The result shows that our proposed deep MLP outperformed modern deep learning architectures, i.e., LSTM and CNN, on the same number of layers and value of parameters. The deep MLP exhibited the highest performance on both speaker-dependent and speaker-independent scenarios on IEMOCAP and MSP-IMPROV corpus.

研究の動機と目的

• 深層学習の高コストな計算要求を軽減するため、軽量な深層MLPアーキテクチャを提案すること。
• コンパクトで高次元の統計的特徴を用いることで、従来の深層MLPがLSTM や CNN よりも優れた性能を発揮できるかを評価すること。
• スプライサーディペンデントおよびスプライサーレンジントの両設定における深層MLPの有効性を調査すること。
• 高精度な次元的感情認識が、高価なGPUベースのハードウェアや複雑なモデルを必要としないことを示すこと。
• IEMOCAPおよびMSP-IMPROVを含む複数のデータセットを用いて、一般化可能性を検証すること。

提案手法

• 入力特徴はGeMAPS低レベル記述子（LLD）から得られ、各発話単位に対して高次統計関数（HSF）を適用することで、次元を3409×23から1×23に低次元化した。
• 入力層および出力層を除く5層の隠れ層を持つ深層マルチレイヤーパーセプトロン（MLP）を用い、平均二乗誤差（MSE）損失関数を用いて学習した。
• モデルは3つの連続的で感情の次元（価値、覚醒、優位性）を予測し、学習用に[-1, 1]に正規化された。
• 2つの学習設定を評価した：スプライサーディペンデント（80/20分割）およびスプライサーレンジント（1セッションを除いての学習、LOSO）、IEMOCAPおよびMSP-IMPROVデータセットを用いた。
• すべての設定で主に一致相関係数（CCC）を評価指標として使用した。
• IEMOCAPおよびMSP-IMPROVの訓練・開発・テストセットを連結して混合コーパスデータセットを作成し、異なるデータセット間での一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 小さな入力サイズを持つ深層MLPは、LSTM や CNN よりも次元的スピーチ感情認識で優れた性能を発揮できるか？
• RQ2 複数のデータセットにおいて、スプライサーディペンデントおよびスプライサーレンジント設定での本手法の深層MLPの性能は、どのように比較されるか？
• RQ3 高次統計関数（HSF）の使用が、計算複雑性をどれほど低減させつつ、認識精度を維持できるか？
• RQ4 混合コーパス評価において、モデルの一般化性能はどのように変化するか？
• RQ5 評価指標（CCC）に一致する損失関数を用いた学習にすることで、モデルの性能が向上するか？

主な発見

• 提案された深層MLPは、IEMOCAPおよびMSP-IMPROVの両データセットにおいて、スプライサーディペンデントおよびスプライサーレンジント設定の両方で、すべての感情次元および平均スコアにおいて最高の一致相関係数（CCC）を達成した。
• IEMOCAPでは、スプライサーディペンデント設定で平均CCCが0.469、スプライサーレンジント設定で0.453を記録し、LSTM（0.387および0.359）およびCNN（0.307および0.328）を上回った。
• MSP-IMPROVでは、スプライサーディペンデント設定で平均CCCが0.536、スプライサーレンジント設定で0.407を記録し、LSTM（0.515および0.335）およびCNN（0.497および0.375）を上回った。
• 混合コーパス評価では、スプライサーディペンデント設定で平均CCCが0.499、スプライサーレンジント設定で0.294を記録し、再びLSTMおよびCNNをすべての次元で上回った。
• IEMOCAPではスプライサーディペンデントとスプライサーレンジントの性能差がMSP-IMPROVより小さく、ファイル名やセッション順序の違いが要因であると考えられる。
• MSE損失関数を用いたにもかかわらず、モデルが優れた性能を発揮したことは、CCCベースの学習に切り替えることでさらなる向上が期待できる可能性を示しており、最適化の余地が大きいことを示している。