[論文レビュー] Transfer Learning for Improving Speech Emotion Classification Accuracy

Siddique Latif, Rajib Rana+3 more|arXiv (Cornell University)|Jan 19, 2018

Emotion and Mood Recognition参考文献 28被引用数 6

ひとこと要約

本論文では、多様な言語および少量のターゲットデータからの事前学習特徴を活用することで、クロスコーパスおよびクロス言語音声感情認識の性能を向上させるため、ディープベルーフネットワーク（DBNs）を用いた転移学習の手法を提案する。DBNsはスパースオートエンコーダーやSVMベースラインを著しく上回り、限られたターゲットデータでも高い精度を達成する。

ABSTRACT

The majority of existing speech emotion recognition research focuses on automatic emotion detection using training and testing data from same corpus collected under the same conditions. The performance of such systems has been shown to drop significantly in cross-corpus and cross-language scenarios. To address the problem, this paper exploits a transfer learning technique to improve the performance of speech emotion recognition systems that is novel in cross-language and cross-corpus scenarios. Evaluations on five different corpora in three different languages show that Deep Belief Networks (DBNs) offer better accuracy than previous approaches on cross-corpus emotion recognition, relative to a Sparse Autoencoder and SVM baseline system. Results also suggest that using a large number of languages for training and using a small fraction of the target data in training can significantly boost accuracy compared with baseline also for the corpus with limited training examples.

研究の動機と目的

• 訓練データとテストデータが異なるコーパスまたは言語から得られる場合に生じる音声感情認識の性能低下を解消すること。
• DBNを用いた転移学習が、多様な音声感情データセット間での一般化性能を向上させることを調査すること。
• 少量のターゲットドメインデータと多言語学習の導入が認識精度に与える影響を評価すること。
• DBNが低リソース環境やクロスドメイン状況において、従来のモデル（スパースオートエンコーダーおよびSVM）を上回ることを実証すること。

提案手法

• 強力な一般化能力と特徴学習能力を有するため、主なモデルとしてディープベルーフネットワーク（DBNs）を採用した。
• 英語、ドイツ語、イタリア語の3言語で構成される複数のコーパス（IEMOCAP、FAU-AIBO、EMO-DB、EMOVO、SAVEE）の大量データを用いてDBNsを学習した。
• ソースコーパスで事前学習を行い、ターゲットコーパスで最小限のラベル付きデータを用いて微調整することで、転移学習を実装した。
• 異なるコーパスおよび言語間での性能評価を、2分割交差検証およびリーブ・ワン・アウトの手法を用いて行った。
• 同一条件下でDBNの性能をスパースオートエンコーダーおよびSVMベースラインと比較した。
• 訓練に使用するターゲットデータの割合（10%〜80%）を変化させ、データ効率を評価した。

実験結果

リサーチクエスチョン

• RQ1 DBNを用いた転移学習は、クロスコーパスおよびクロス言語状況下での音声感情認識の精度向上に寄与するか？
• RQ2 多言語学習は、リソースが限られた状況や未学習言語（例：イタリア語）の設定下でDBNの性能にどのように影響を与えるか？
• RQ3 ベースラインモデルと比較して、ターゲットドメインデータのわずかな割合を含めることで、認識精度はどの程度向上するか？
• RQ4 異なる言語、年齢層、録音条件間での転送を行うと、DBNの性能が低下するか？

主な発見

• DBNsはクロスコーパス感情認識において、スパースオートエンコーダーやSVMベースラインを著しく上回り、優れた特徴学習能力と一般化性能を示した。
• ターゲットデータのわずか20%（例：EMO-DBでは約90発話）を訓練に含めただけでも、ベースラインを上回る認識精度が達成された。これは、リソースが限られたコーパスに対しても有効であることを示している。
• IEMOCAPとFAU-AIBOを用いた多言語学習は、単一言語学習よりも高い精度を達成した。特に、未学習言語（例：イタリア語）の設定で顕著な向上が見られた。
• リーブ・ワン・アウトの訓練スキームが最も高い精度を示し、多様な言語にさらされたことでモデルの頑健性と一般化性能が向上することが示された。
• 異なる言語（例：英語からドイツ語）や年齢層（例：大人対子供）間での転送では性能が低下した。これはドメインシフトの課題を示している。
• 同じ言語（ドイツ語）であっても、FAU-AIBO（子供の発話）とEMO-DB（大人の発話）では性能に差が生じた。これは、人口統計的要因や録音条件の違いがモデルの転送可能性に影響を与えることを示している。