[論文レビュー] Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition

Suraj Tripathi, Abhay Kumar+3 more|arXiv (Cornell University)|Jun 11, 2019

Speech and Audio Processing参考文献 23被引用数 14

ひとこと要約

本稿では、スペクトログ램とMFCCを入力特徴量として用いることで、誤分類されがちな困難な感情例の分類を向上させる、焦点損失最適化型の残差畳み込みニューラルネットワーク（ResNet）を提案する。この手法は、訓練中に困難な例に注目することで、容易に分類可能なサンプルの優位性を軽減し、IEMOCAPデータセットで最先端の性能を達成する。

ABSTRACT

This paper proposes a Residual Convolutional Neural Network (ResNet) based on speech features and trained under Focal Loss to recognize emotion in speech. Speech features such as Spectrogram and Mel-frequency Cepstral Coefficients (MFCCs) have shown the ability to characterize emotion better than just plain text. Further Focal Loss, first used in One-Stage Object Detectors, has shown the ability to focus the training process more towards hard-examples and down-weight the loss assigned to well-classified examples, thus preventing the model from being overwhelmed by easily classifiable examples.

研究の動機と目的

• 分類が容易な感情クラスが訓練に優位を占める、音声感情認識におけるクラス不均衡問題に対処すること。
• 困難に分類可能な感情例に学習を集中させることで、モデルの一般化性能を向上させること。
• オブジェクト検出で使用された焦点損失を、深層残差CNNアーキテクチャに統合して音声感情認識に適用すること。
• スペクトログラムとMFCC特徴量を用いた焦点損失の有効性を評価し、分類精度の向上を検証すること。
• 音声感情認識のIEMOCAPベンチマークデータセットで最先端の性能を達成すること。

提案手法

• モデルは、音声スペクトログラムとMFCCから階層的な空間的・時間的特徴を抽出するため、残差畳み込みニューラルネットワーク（ResNet）アーキテクチャを採用する。
• 焦点損失が訓練目的として適用され、良好に分類された例の寄与度を低減し、バックプロパゲーション中に困難な例に注目する。
• 焦点損失関数は次のように定義される：$ FL(p_t) = -α(1-p_t)^\u03b3 \log(p_t) $、ここで $ p_t $ はモデルが真のクラスに対して予測する確率、$ \alpha $ はバランス要因、$ \gamma $ は集中的メカニズムを制御する。
• 入力特徴量は、音声内の知覚的に関連する感情的側面を捉えることが知られている前処理済みのスペクトログラムとMFCCである。
• 勾配降下法を用いて、焦点損失を最適化対象として、エンドツーエンドで訓練することで、微細または曖昧な感情状態の識別を向上させる。
• 勾配消失問題を緩和し、より深いネットワークの訓練を可能にするために、残差ブロックを採用する。

実験結果

リサーチクエスチョン

• RQ1 焦点損失を用いることで、困難に分類可能な例に注目することで、深層CNNの音声感情認識性能が向上するか？
• RQ2 ResNetアーキテクチャに焦点損失を統合した場合、不均衡な音声感情データセットにおける分類精度にどのような影響を与えるか？
• RQ3 スペクトログラムとMFCCを入力特徴量として用いることで、焦点損失と組み合わせた場合、モデル性能が向上するか？
• RQ4 標準的な交差エントロピー損失と比較して、本手法はIEMOCAPデータセットにおけるF1スコアと精度の観点でどのように差をつけるか？
• RQ5 焦点損失は、容易に分類可能な感情クラスに偏るモデルのバイアスをどの程度軽減するか？

主な発見

• 提案手法の焦点損失ベースのResNetは、IEMOCAPデータセットにおいて、標準的な交差エントロピー訓練と比較してF1スコアで顕著な向上を示した。
• モデルは、通常の訓練では誤分類されがちな微細または曖昧な感情クラスの認識において優れた性能を示した。
• 焦点損失により、容易に分類可能な例への注目が減少し、感情カテゴリ間での学習がよりバランスよくなった。
• スペクトログラムとMFCC特徴量の組み合わせと焦点損失の併用により、単独で使用する場合よりも高い精度が得られた。
• 本手法は、IEMOCAPベンチマークで最先端の性能を達成し、従来の交差エントロピー損失を用いた手法を上回った。
• アブレーションスタディにより、焦点損失メカニズムが困難な例への一般化能力を著しく向上させることを確認した。