[論文レビュー] Transfer Learning From Sound Representations For Anger Detection in Speech

Mohamed Ezzeldin A. Elshaer, Scott Wisdom+1 more|arXiv (Cornell University)|Feb 6, 2019

Emotion and Mood Recognition参考文献 19被引用数 14

ひとこと要約

本論文は、一般音声に事前学習された自己教師あり音声表現モデルであるSoundNetからの転移学習を用いて、低遅延な怒り検出システムを提案する。IEMOCAPという小規模なスピーチ感情データセット上でSoundNetの特徴量をファインチューニングすることで、特に自然なスピーチおよびクロスリンガルなスピーチにおいて顕著な性能向上が達成された。これは、事前学習段階で感情のラベルが与えられていなくても、一般音声表現が感情を含むスピーチにうまく一般化できることを示している。

ABSTRACT

In this work, we train fully convolutional networks to detect anger in speech. Since training these deep architectures requires large amounts of data and the size of emotion datasets is relatively small, we use transfer learning. However, unlike previous approaches that use speech or emotion-based tasks for the source model, we instead use SoundNet, a fully convolutional neural network trained multimodally on a massive video dataset to classify audio, with ground-truth labels provided by vision-based classifiers. As a result of transfer learning from SoundNet, our trained anger detection model improves performance and generalizes well on a variety of acted, elicited, and natural emotional speech datasets. We also test the cross-lingual effectiveness of our model by evaluating our English-trained model on Mandarin Chinese speech emotion data. Furthermore, our proposed system has low latency suitable for real-time applications, only requiring 1.2 seconds of audio to make a reliable classification.

研究の動機と目的

• 大規模な一般音声表現から転移学習を活用することで、ラベル付きスピーチ感情データが限られているという課題に対処する。
• 最小限の遅延（1.2秒）で動作する完全畳み込みニューラルネットワーク（FCN）を用いて、怒り検出の性能を向上させる。
• SoundNetを用いて一般音声イベントで事前学習したモデルが、スピーチや感情に特化した事前学習よりも怒り検出において一般化性能に優れているかどうかを検証する。
• 英語で学習したモデルを中国語の感情を含むスピーチデータに対してテストすることで、クロスリンガルな転移可能性を評価する。
• 社会的ロボットやIVRシステムなど、迅速な応答が求められる応用に適したリアルタイム対応システムを開発する。

提案手法

• 事前学習済みSoundNetモデルの重みで初期化された完全畳み込みニューラルネットワーク（FCN）を、怒り検出用にファインチューニングする。
• SoundNet（視覚ベースのラベルを用いて200万本の動画クリップで一般音声イベントを分類するように学習された5層の完全畳み込みネットワーク）をソースモデルとして使用する。
• ファインチューニング中にSoundNetの最初の2層を凍結し、低レベルの音響表現を保持しつつ、上位層を感情分類に適応させる。
• IEMOCAPデータセット上で、怒りとそれ以外のスピーチセグメントのクラス不均衡を緩和するためにバランスの取れたサンプリング戦略を用いて、エンドツーエンドのFCNを学習する。
• 1.2秒のクリップと600msのホップサイズを用いたスライディングウィンドウ推論戦略を採用し、短いクリップはゼロパディングすることで、リアルタイムかつ低遅延の予測を可能にする。
• 交差エントロピー損失を最適化関数として使用し、クラス不均衡への対処およびトレーニング後の柔軟なしきい値設定を可能にするために、主な評価指標としてAU-ROCを用いる。

実験結果

リサーチクエスチョン

• RQ1 一般音声表現モデル（SoundNet）からの転移学習が、ランダム初期化からの学習と比較して怒り検出性能を向上させるか？
• RQ2 一般音声イベントで事前学習することで、演技された、誘発された、自然なスピーチなど多様なスピーチ状況において、従来のスピーチベースの事前学習よりも一般化性能が向上するか？
• RQ3 中国語の感情を含むスピーチデータに対して、英語で学習したモデルをテストした場合、モデルのクロスリンガルな有効性はどの程度高いか？
• RQ4 高い性能を維持しつつ、1.2秒という低遅延をどの程度維持できるか。これは、リアルタイム応用に適しているか？
• RQ5 SoundNetがスピーチや感情ラベルで学習されていないにもかかわらず、SoundNetが学習した低レベルの音響特徴量がスピーチ感情認識に転送可能か？

主な発見

• SoundNetからの転移学習により、IEMOCAPの誘発された英語データセットでは、ランダム初期化からの学習時（AU-ROC 0.719）と比較して、AU-ROCが0.736に向上した。これは統計的に有意な改善（p < 3e-4）であった。
• 自然な英語データセットAngerSESでは、転移学習モデルがAU-ROC 0.669を達成した。これはランダム初期化モデルの0.581と比較して顕著な向上であった。
• 演技された中国語データセットMASCでは、転移学習モデルがAU-ROC 0.626を達成した。これは、ランダム初期化で学習したベースラインモデルの0.481と比較して顕著に優れていた。
• SoundNetが学習した音響表現の頑健さのおかげで、騒音のある環境や異なる録音環境の自然なスピーチに対しても、モデルは良好に一般化している。
• EmoProsodyを除くすべての性能向上が99%信頼水準（p < 3e-4）で有意であったため、転移学習アプローチの有効性が確認された。
• システムはたった1.2秒の音声遅延しかなく、人間が怒りを認識する時間（700ms）と一致するため、会話型AIやソーシャルロボティクスにおけるリアルタイム応用に適している。