[論文レビュー] Audio-video Emotion Recognition in the Wild using Deep Hybrid Networks

Xin Guo, Luisa F. Polanía+1 more|arXiv (Cornell University)|Feb 20, 2020

Speech and Audio Processing参考文献 25被引用数 8

ひとこと要約

本論文は、野生環境下における音声・視覚的感情認識のための深層ハイブリッドニューラルネットワークを提案する。顔画像に適用したVGG-LSTMモデル、音声特徴に適用したSVMとLSTM、音声から得た画像マップに適用したInception(v2)-LSTMを統合している。この手法は検証セットで55.61%の正確度を達成し、テストセットでは51.15%を記録し、EmotiW 2017のベースライン（38.81%）を著しく上回った。

ABSTRACT

This paper presents an audiovisual-based emotion recognition hybrid network. While most of the previous work focuses either on using deep models or hand-engineered features extracted from images, we explore multiple deep models built on both images and audio signals. Specifically, in addition to convolutional neural networks (CNN) and recurrent neutral networks (RNN) trained on facial images, the hybrid network also contains one SVM classifier trained on holistic acoustic feature vectors, one long short-term memory network (LSTM) trained on short-term feature sequences extracted from segmented audio clips, and one Inception(v2)-LSTM network trained on image-like maps, which are built based on short-term acoustic feature sequences. Experimental results show that the proposed hybrid network outperforms the baseline method by a large margin.

研究の動機と目的

• ノイズが多く、変動し、制御不能な条件にある実世界の動画環境において感情認識の課題に取り組む。
• 従来の手法が主に視覚的特徴に依存するという限界を克服し、音声チャネルの情報を十分に活用する。
• 遅延統合を用いたマルチモーダル深層学習モデルの統合により、EmotiW 2017の音声・動画感情認識サブチャレンジにおける性能を向上させる。
• 特に時系列モデリングと特徴マップ表現を組み合わせることで、音声と視覚のモデルを統合することで、認識正確度が向上することを示す。

提案手法

• 8フレーム間隔で抽出された整列済みの顔画像に、VGG-16ベースのCNN-LSTMネットワークを訓練し、顔の表情の時系列的ダイナミクスをモデル化する。
• 2ストリームのVGG-LSTMアーキテクチャを適用：1つは独自手法で検出された顔、もう1つは大会主催者から提供された顔を用いて訓練し、耐性を高める。
• openSmileを用いて抽出した包括的音声特徴ベクトルにSVM分類器を訓練し、音声ベースの感情認識を実現する。
• 短時間音声特徴系列にLSTMネットワークを適用し、音声モalityの時系列的ダイナミクスをモデル化する。
• 短時間音声特徴をスタックして画像のようなマップを作成し、Inception(v2)-LSTMネットワークを訓練して、音声表現における時空間的パターンを学習する。
• 5つのモデル（2つのVGG-LSTM、1つのSVM、1つのLSTM、1つのInception(v2)-LSTM）の予測結果を、グリッドサーチで最適化された意思決定レベル統合により統合し、検証セット正確度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的・音声的モダリティを統合したハイブリッド深層学習アーキテクチャは、制約のない動画環境下での感情認識正確度を著しく向上させることができるか？
• RQ2 短時間音声特徴から得た画像のようなマップを用いることで、生の音声系列に比べて感情のダイナミクスをどのようによりよくモデル化できるか？
• RQ3 フレームのギャップがある顔画像にCNN-LSTMをエンドツーエンドで訓練することで、特徴抽出後に別個のRNNを訓練する方法を上回る性能が得られるか？
• RQ4 視覚モデルと統合された際、特にLSTMおよび音声特徴にSVMを適用する音声ベースのモデルは、全体の性能にどの程度寄与するか？
• RQ5 音声および動画の異なる表現に学習された複数の深層モデルを遅延統合することで、EmotiW 2017ベンチマークにおいて優れた性能が達成できるか？

主な発見

• 提案されたハイブリッドネットワークは、検証セットで55.61%の正確度を達成し、EmotiW 2017の音声・動画感情認識サブチャレンジのベースライン（38.81%）を著しく上回った。
• 整列済みの顔画像に最適化されたVGG-LSTMモデルは49.61%の正確度を達成し、2016年のサブチャレンジ優勝者（45.43%）を上回った。
• 異なる顔検出手法を用いて訓練された2つのVGG-LSTMモデルの組み合わせは、検証セットで51.02%の正確度を達成し、複数のソースからの顔検出の利点を示した。
• 音声ベースのモデル、特に音声マップに適用したInception(v2)-LSTMは検証セットで26.63%の正確度を達成し、怒りのクラスでは強く寄与し、全体の統合性能向上に貢献した。
• 最終的なハイブリッドネットワークはテストセットで51.15%の正確度を達成し、クラスごとの加重平均正確度は41.21%であった。これは、感情クラス全体にわたる良好な一般化性能を示している。
• テストセットの混同行列から、モデルは「幸せ」（リコール63.89%）と「ニュートラル」（リコール50.78%）に対して最もよく性能を発揮したが、「驚き」（リコール0%）に対しては最も困難を示しており、クラス別に特徴的な課題があることがわかった。