[論文レビュー] Deep neural networks for emotion recognition combining audio and transcripts

Jaejin Cho, Raghavendra Pappagari+4 more|arXiv (Cornell University)|Nov 1, 2019

Emotion and Mood Recognition参考文献 15被引用数 9

ひとこと要約

本稿では、音声特徴（LSTMを介して）とテクストトランスクリプト（マルチリゾリューションCNNを介して）を統合するマルチモーダルディープラーニング手法を提案し、より優れた音声ベースの感情認識を実現する。本手法は、両モダリティからの補完的情報を活用することで、IEMOCAPで24%の相対的改善、電話データで3.4%の改善を達成し、埋め込みの分離を促進する検証損失を用いる。

ABSTRACT

In this paper, we propose to improve emotion recognition by combining acoustic information and conversation transcripts. On the one hand, an LSTM network was used to detect emotion from acoustic features like f0, shimmer, jitter, MFCC, etc. On the other hand, a multi-resolution CNN was used to detect emotion from word sequences. This CNN consists of several parallel convolutions with different kernel sizes to exploit contextual information at different levels. A temporal pooling layer aggregates the hidden representations of different words into a unique sequence level embedding, from which we computed the emotion posteriors. We optimized a weighted sum of classification and verification losses. The verification loss tries to bring embeddings from the same emotions closer while separating embeddings from different emotions. We also compared our CNN with state-of-the-art text-based hand-crafted features (e-vector). We evaluated our approach on the USC-IEMOCAP dataset as well as the dataset consisting of US English telephone speech. In the former, we used human-annotated transcripts while in the latter, we used ASR transcripts. The results showed fusing audio and transcript information improved unweighted accuracy by relative 24% for IEMOCAP and relative 3.4% for the telephone data compared to a single acoustic system.

研究の動機と目的

• 音声とテキストのモダリティを統合することで、音声感情認識の性能を向上させること。
• トランスクリプトにおける多様な文脈的範囲を捉えるためのマルチリゾリューションCNNを構築すること。
• 人間によるアノテーションとASRで生成されたトランスクリプトの両方を用いて、音声とトランスクリプトベースのシステムの統合を評価すること。
• 不完全なトランスクリプトを含む実世界の電話会話データを用いて、統合システムの頑健性を示すこと。
• 検証損失が同じ感情の埋め込みを密に、異なる感情の埋め込みを分離するのに有効であることを検証すること。

提案手法

• LSTMネットワークが、周波数基本周波数（f0）、シャイマー、ジターディスコンティニュイティ（jitter）、MFCCなどの音声特徴を処理し、全期間の平均プーリングを用いて発話レベルの表現を生成する。
• マルチリゾリューションCNNは、異なるカーネルサイズを有する並列の畳み込み層を用いて、語の系列から複数の時間的スケールでの文脈的情報を抽出する。
• 時間的プーリング層が、語レベルの隠れ表現を集約して、1つのシーケンスレベルの埋め込みに変換し、感情分類に用いる。
• 分類損失と検証損失の重み付き和を最適化し、検証損失は同じ感情の埋め込みを密に、異なる感情の埋め込みを分離するように促進する。
• 本システムは、人間によるアノテーション付きのIEMOCAPデータセットと、ASRで生成されたトランスクリプトを有する米国英語の電話音声データセットの両方で訓練および評価される。
• 統合戦略は、音声LSTMとトランスクリプトベースのMCNNの予測を組み合わせることで、全体の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 音声とテキストの情報の統合は、単一モダリティのシステムを上回る音声感情認識性能を実現できるか？
• RQ2 従来の手作業で作成されたテキスト特徴（例：eベクトル）と比較して、マルチリゾリューションCNNはトランスクリプトからの感情認識においてどのように優れているか？
• RQ3 ASRで生成されたトランスクリプトを含む実世界のデータにおいて、音声とトランスクリプトベースのシステムの統合が性能にどの程度寄与するか？
• RQ4 検証損失の使用は、トランスクリプトベースのシステムにおける学習済み埋め込みの判別力向上に寄与するか？
• RQ5 ノイズの多いASRで生成されたトランスクリプトを用いた場合、音声とテキストの特徴の補完的性質は保持されるか？

主な発見

• マルチリゾリューションCNNは、IEMOCAPデータセットにおいてeベクトルベースラインを4%上回る未加重精度を達成した。
• 音声LSTMとMCNNシステムの統合により、IEMOCAPにおいて単一音声システムと比較して未加重精度が18%相対的に向上した。
• 電話会話データセットでは、ASRで生成されたトランスクリプトを用いても、音声とトランスクリプトベースのシステムの統合により、単一音声システムと比較して未加重精度が3.4%向上した。
• LSTM、MCNN、eベクトルの3つのシステムを統合した場合、IEMOCAPで最高の未加重精度65.9%を達成し、モダリティの補完的性質を確認した。
• 2つのテキストベースのシステム（eベクトルとMCNN）を統合した場合、統合による性能向上は観察されなかったため、音声モダリティが独自で非冗長な情報を提供していることが示された。
• 検証損失は埋め込み品質の向上に寄与し、IEMOCAPにおいて怒りや悲しみの感情を予測する際、統合システムが単一システムを上回った。