[論文レビュー] A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition

Zhou Sitong, Homayoon Beigi|arXiv (Cornell University)|Aug 6, 2020

Emotion and Mood Recognition参考文献 20被引用数 17

ひとこと要約

本論文では、大規模なTedlium2 ASRデータセットで事前学習されたTDNNモデルを、話者適応型MFCCおよびi-vector特徴量を用いて微調整することで、音声感情認識のための転移学習手法を提案する。この手法はIEMOCAPデータセットで71.7%の未加重正答率を達成し、先行する最先端手法を顕著に上回る性能を示した。

ABSTRACT

This paper presents a transfer learning method in speech emotion recognition based on a Time-Delay Neural Network (TDNN) architecture. A major challenge in the current speech-based emotion detection research is data scarcity. The proposed method resolves this problem by applying transfer learning techniques in order to leverage data from the automatic speech recognition (ASR) task for which ample data is available. Our experiments also show the advantage of speaker-class adaptation modeling techniques by adopting identity-vector (i-vector) based features in addition to standard Mel-Frequency Cepstral Coefficient (MFCC) features.[1] We show the transfer learning models significantly outperform the other methods without pretraining on ASR. The experiments performed on the publicly available IEMOCAP dataset which provides 12 hours of motional speech data. The transfer learning was initialized by using the Ted-Lium v.2 speech dataset providing 207 hours of audio with the corresponding transcripts. We achieve the highest significantly higher accuracy when compared to state-of-the-art, using five-fold cross validation. Using only speech, we obtain an accuracy 71.7% for anger, excitement, sadness, and neutrality emotion content.

研究の動機と目的

• データ不足に起因する音声感情認識の課題を、大規模ASRデータセットを事前学習の出発点として活用することで解決すること。
• 自動音声認識（ASR）から感情分類への転移学習を活用し、感情認識の性能を向上させること。
• MFCC特徴量にi-vectorベースの話者適応を統合することで、モデルの頑健性を向上させること。
• IEMOCAPベンチマークにおいて5分割交差検証戦略を用いて、転移学習の有効性を評価すること。

提案手法

• 207時間のTedlium2 ASRデータを用いて、TDNNベースの深層ニューラルネットワークを事前学習し、一般化された音響表現を学習する。
• 各フレームで40次元のMFCCと100次元のi-vectorを連結することで、話者適応型特徴量を生成する。
• 事前学習済みTDNNの12番目の層を、IEMOCAP感情データセットでの微調整用のボトルネック特徴量層として選定する。
• フレームレベルの感情分類のために、全結合層とソフトマックス分類器を用いて微調整を行う。
• 最大尤度投票を用いてフレームレベルの予測を集約し、発話レベルの予測を取得する。
• 5分割交差検証戦略を採用し、IEMOCAPの各セッションを1回ずつテストセットとして使用する。

実験結果

リサーチクエスチョン

• RQ1 大規模ASRデータで事前学習することで、リソースが限られた音声感情認識の性能が向上するか？
• RQ2 i-vectorによる話者適応を統合することで、感情認識の正答率にどのような影響を与えるか？
• RQ3 事前学習済みTDNNアーキテクチャのどの層が、感情分類に最適な転送可能な特徴量を提供するか？
• RQ4 ASRからの転移学習は、限られた感情データセットでのエンドツーエンド学習に比べて顕著な性能向上をもたらすか？

主な発見

• 提案手法は、IEMOCAPデータセットで5分割交差検証を用いた結果、71.7%の未加重正答率を達成し、以前の最先端手法（68.8%）を上回った。
• 12番目のTDNN層が最も高い性能（セッション5で69.3%）を示し、最終層（63.4%）および13番目の層（66.7%）を上回った。これは、汎化性と識別能の最適なバランスを示している。
• 特に、興奮状態とニュートラル状態の区別に困難を示し、28%の興奮状態のサンプルがニュートラルと誤分類された。
• ニュートラル状態が誤分類の主な要因であり、低エネルギーで単調な発話パターンのため、悲しみと混同されやすい。
• i-vector特徴量の使用により、話者や環境の変動に対する頑健性が顕著に向上した。
• 結果から、ASRで学習された高レベルの音響表現が、感情認識に効果的に転送可能であることが示された。これは、音声認識と感情検出の間に共通の下位表現が存在することを示唆している。