[論文レビュー] Emotion Recognition in Audio and Video Using Deep Neural Networks

Mandeep Singh, Yuan Fang|arXiv (Cornell University)|Jun 15, 2020

Emotion and Mood Recognition参考文献 11被引用数 14

ひとこと要約

本稿では、音声スペクトログ램と動画フレームを統合するマルチモーダル深層学習アプローチを提案しており、音声にはCNN+RNN、動画には3D-CNNを適用し、IEMOCAPデータセットを用いて3感情分類で71.75%、4感情分類で54.0%の精度を達成した。融合モデルは、補完的な音声と顔の表情特徴を活用することで感情認識を向上させたが、クラス不均衡と最適でない空間的クロッピングの影響により性能が制限されている。

ABSTRACT

Humans are able to comprehend information from multiple domains for e.g. speech, text and visual. With advancement of deep learning technology there has been significant improvement of speech recognition. Recognizing emotion from speech is important aspect and with deep learning technology emotion recognition has improved in accuracy and latency. There are still many challenges to improve accuracy. In this work, we attempt to explore different neural networks to improve accuracy of emotion recognition. With different architectures explored, we find (CNN+RNN) + 3DCNN multi-model architecture which processes audio spectrograms and corresponding video frames giving emotion prediction accuracy of 54.0% among 4 emotions and 71.75% among 3 emotions using IEMOCAP[2] dataset.

研究の動機と目的

• 音声および動画における感情認識の精度を向上させるために深層ニューラルネットワークを活用すること。
• 音声と動画特徴のマルチモーダル統合の有効性を感情認識に向け検証すること。
• 現在のアーキテクチャおよびデータ前処理における性能制限要因を同定すること。
• データ拡張、ノイズ除去、空間的クロッピングの影響がモデル精度に与える影響を調査すること。
• IEMOCAPデータセットにおいて、CNN、RNN、LSTM、3D-CNNなどの異なる深層学習アーキテクチャの性能を評価すること。

提案手法

• 音声ストリームはスペクトログラムを入力とし、CNN、CNN+RNN、またはCNN+LSTMアーキテクチャを用いて時間的・周波数的特徴を抽出する。
• 動画ストリームは、顔の表情に注目して、スパatiotemporal特徴を動画フレームから3D-CNNで抽出する。
• 最終的な予測は、音声および動画サブネットの最終層を連結し、その後に全結合層を適用することで得られる。
• モデルは、10名のスピーカーが収録した合計12時間の音声映像記録を含むIEMOCAPデータセットを用いて訓練および評価された。
• 著者らは、主に全体精度を指標としてモデルを比較し、データ拡張、ノイズ除去、クロッピング技術に関するアブレーションスタディを実施した。
• 顔検出および自動クロッピングは、顔領域に焦点を当て、背景ノイズを低減する可能性のある改善策として検討された。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル深層学習アーキテクチャを用いて音声と動画特徴を統合することで、単一モodalモデルと比較して感情認識の精度が向上するか？
• RQ2 CNN、RNN、LSTM、3D-CNNなどの異なるニューラルネットワークアーキテクチャは、音声および動画感情認識にどのように影響を与えるか？
• RQ3 特に「幸せ」クラスのデータ不均衡が、モデルの予測精度にどのような影響を与えるか？
• RQ4 データ拡張技術は、感情関連特徴を歪めることで性能を低下させる可能性があるが、モデルの汎化性能を向上させられるか？
• RQ5 音声前処理においてノイズ除去を実施しない場合、ノイズ除去済みスペクトログラムと比較してモデル性能にどのような影響があるか？

主な発見

• CNN+RNN+3DCNNマルチモーダルアーキテクチャは、IEMOCAPデータセットを用いて3感情分類で71.75%、4感情分類で54.0%の精度を達成した。
• マルチモーダルモデルは3感情分類において単一モーダルの音声のみモデルを上回った。これは、動画フレームが補完的な感情の手がかりを提供していることを示している。
• 「幸せ」の予測が最も弱く、データ数が少なく、モデル性能も低かった。これは、クラス不均衡が主なボトルネックである可能性を示している。
• クロッピングおよび回転を用いたデータ拡張は、時間的・周波数的特徴が重要な感情認識に歪みをもたらす可能性があるため、性能をわずかに悪化させた。
• 直接的なデータ拡張ではモデル性能が向上せず、おそらくその手法が感情関連の音響的および視覚的特徴を変化させたためである。
• 顔領域の自動クロッピングは、現在の広いクロッピング窓が不要な領域やノイズを含むため、精度を顕著に向上させると予想される。