[論文レビュー] Emotion Recognition from Speech

Kannan Venkataramanan, Haresh Rengaraj Rajamohan|arXiv (Cornell University)|Dec 22, 2019

Emotion and Mood Recognition参考文献 19被引用数 9

ひとこと要約

本稿では、RAVDESSデータセットから14クラス（2性別 × 7感情）の音声ベース感情認識タスクにおいて68%の精度を達成する4層2次元CNNとログメルスペクトログ램特徴量を提案する。研究では、モデルの複雑さよりも特徴量選択（特にログメルスペクトログラム）が重要であることが判明し、ピッチとエネルギーの差異から、性別別モデリングが性能向上に寄与している。

ABSTRACT

In this work, we conduct an extensive comparison of various approaches to speech based emotion recognition systems. The analyses were carried out on audio recordings from Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS). After pre-processing the raw audio files, features such as Log-Mel Spectrogram, Mel-Frequency Cepstral Coefficients (MFCCs), pitch and energy were considered. The significance of these features for emotion classification was compared by applying methods such as Long Short Term Memory (LSTM), Convolutional Neural Networks (CNNs), Hidden Markov Models (HMMs) and Deep Neural Networks (DNNs). On the 14-class (2 genders x 7 emotions) classification task, an accuracy of 68% was achieved with a 4-layer 2 dimensional CNN using the Log-Mel Spectrogram features. We also observe that, in emotion recognition, the choice of audio features impacts the results much more than the model complexity.

研究の動機と目的

• 音声感情認識（SER）における最も効果的な音声特徴量とディープラーニングアーキテクチャを特定すること。
• 異なる特徴量タイプ（MFCC、ログメルスペクトログラム、ピッチ、エネルギー）とアーキテクチャ（LSTM、CNN、HMM、DNN）におけるモデル性能を評価すること。
• 外部のTESSデータセットを用いて、モデルの一般化性能を評価すること。
• 性別別モデリングが、ピッチとエネルギーの差異から原因となる感情認識性能の向上に寄与するかを検証すること。
• 活性化可視化と注目メカニズムを用いて、モデルの解釈可能性を検討すること。

提案手法

• 本研究では、24名の俳優が参加し、性別と強度でバランスが取れた8つの感情を含む1440件の音声発話が含まれるRAVDESSデータセットを用いる。
• 音声は前処理され、モデル入力用にログメルスペクトログラム、MFCC、ピッチ、エネルギー特徴量に変換される。
• 主なアーキテクチャとして、グローバル平均プーリングを備えた4層2次元CNNが使用され、14クラスおよび2値（ポジティブ／ネガティブ）感情分類の両方でログメルスペクトログラムを用いて訓練される。
• モデル性能は、検証およびテストセットにおける精度、F1スコア、上位2位および上位3位のカテゴリー精度を用いて評価される。
• モデルはTESSデータセットに対して微調整され、耐性および一般化性能が評価される。
• 分類の最終予測に最も寄与するログメルスペクトログラムの領域を可視化するために、クラス活性化マップが用いられ、解釈性が向上する。

実験結果

リサーチクエスチョン

• RQ1 音声特徴表現（例：ログメルスペクトログラム、MFCC、ピッチ、エネルギー）の中で、音声感情認識で最も高い精度を達成するのはどれか？
• RQ2 アーキテクチャ（例：2次元CNN、LSTM、HMM、3次元CNN）がRAVDESSデータセットにおける性能に与える影響は何か？
• RQ3 ピッチとエネルギーの差異から、性別別感情分類がモデル精度を向上させるか？
• RQ4 RAVDESSで訓練されたモデルがTESSデータセットにどの程度一般化できるか（ドメインシフトに対する頑健性を示す）？
• RQ5 注目メカニズムまたはアトラス空間ピラミッドプーリング（ASPP）が、SERにおける特徴学習をさらに向上させられるか？

主な発見

• 4層2次元CNNにログメルスペクトログラム特徴量を組み合わせたモデルは、14クラス感情認識タスクで68%のテスト精度を達成し、他のモデルや特徴量を上回った。
• ログメルスペクトログラムは、デルタ係数を組み合わせた場合でもMFCCを顕著に上回り、感情の手がかりをより効果的に特徴づける能力が優れていることが示された。
• ピッチとエネルギーの差異から、性別別モデリングにより性能が向上した。
• 2値分類（ポジティブ対ネガティブ感情）では88%の精度を達成し、広い感情カテゴリーにおける強い性能を示した。
• 外部のTESSデータセットでは62%の精度を達成し、14%のランダムレベルを大幅に上回り、訓練データを超えた頑健な一般化性能を示した。
• 64歳の女性発話者について、低ピッチのため性別を誤分類したが、これは発話者年齢と性別に基づく階層的モデルの必要性を示唆している。