[論文レビュー] Feature-level and Model-level Audiovisual Fusion for Emotion Recognition in the Wild

Jie Cai, Zibo Meng+7 more|arXiv (Cornell University)|Jun 6, 2019

Emotion and Mood Recognition参考文献 53被引用数 8

ひとこと要約

本稿では、音声（OpenSmile）と視覚的特徴（LBP-TOP、CNNアンサンブル、CNN-BLSTM）を用いた、野生環境下における感情認識のための2つの音声視覚融合戦略—特徴レベル融合とモデルレベル融合—を提案する。EmotiW2018 AFEWデータセットにおいて、両手法とも単一モodalベースラインを著しく上回り、特徴レベル融合は56.81%のテスト精度を達成した。一方、モデルレベル融合は1つのモダリティに障害が生じた場合でも頑健性を示した。

ABSTRACT

Emotion recognition plays an important role in human-computer interaction (HCI) and has been extensively studied for decades. Although tremendous improvements have been achieved for posed expressions, recognizing human emotions in "close-to-real-world" environments remains a challenge. In this paper, we proposed two strategies to fuse information extracted from different modalities, i.e., audio and visual. Specifically, we utilized LBP-TOP, an ensemble of CNNs, and a bi-directional LSTM (BLSTM) to extract features from the visual channel, and the OpenSmile toolkit to extract features from the audio channel. Two kinds of fusion methods, i,e., feature-level fusion and model-level fusion, were developed to utilize the information extracted from the two channels. Experimental results on the EmotiW2018 AFEW dataset have shown that the proposed fusion methods outperform the baseline methods significantly and achieve better or at least comparable performance compared with the state-of-the-art methods, where the model-level fusion performs better when one of the channels totally fails.

研究の動機と目的

• 視覚的および音声的モダリティにばらつきが生じる、制約のない現実世界環境における感情認識の課題に対処すること。
• 複数のディープラーニングおよび手作業による表現からの音声および視覚的特徴を効果的に統合することで、感情認識のパフォーマンスを向上させること。
• モダリティ障害に耐性があり、音声および動画信号間の時間的ずれやスケールの違いに対処できる統合戦略を開発すること。
• EmotiW2018 AFEWデータセット上で、提案手法の統合方法を最先端の手法と比較し、優位性および頑健性を示すこと。

提案手法

• 顔の動画シーケンスからLBP-TOP、CNNアンサンブル、および双方向LSTM（CNN-BLSTM）を用いて視覚的特徴を抽出する。
• OpenSmileツールキットを用いて音声特徴を抽出し、ピッチ、エネルギー、メル周波数ケプストラム係数（MFCC）などのプロソディックおよびスペクトル的特徴に焦点を当てる。
• 音声特徴と3種類の視覚的特徴を連結して、分類のための単一の統合特徴ベクトルを構築することで、特徴レベル融合を実装する。
• 測定の不確実性と時間的ずれを考慮し、確率的枠組み（ベイジアンネットワーク）を用いて単一モダリティの認識結果を統合することで、モデルレベル融合を実装する。
• 一般化を向上させるために、ランダムクロッピング、回転（-5°〜5°）、水平反転を用いたデータ拡張を適用する。
• 標準的な検証およびテスト分割を用いて、EmotiW2018 AFEWデータセット上でモデルを訓練および評価し、7つの感情の平均精度をパフォーマンス指標として測定する。

実験結果

リサーチクエスチョン

• RQ1 音声と多様な視覚的特徴を特徴レベルで統合することで、制約のない環境下における感情認識の精度が、単一モダリティベースラインよりも向上するか？
• RQ2 ベイジアンネットワークのような確率的フレームワークを用いたモデルレベル融合は、1つのモダリティに障害が生じた場合や性能が低い場合に、より頑健な性能を発揮するか？
• RQ3 提案手法の統合方法は、EmotiW2018 AFEWデータセット上で、平均精度およびクラスごとの精度の観点から最先端の手法と比較してどうなるか？
• RQ4 これらの統合戦略は、個々の特徴ではうまく捉えられない困難な感情（嫌悪、恐怖、驚き）の認識をどの程度改善するか？

主な発見

• 特徴レベル融合は56.81%の最高のテスト精度を達成し、すべての単一モダリティベースラインおよび大多数の最先端手法を著しく上回った。
• モデルレベル融合は54.06%のテスト精度を達成し、特に嫌悪、恐怖、驚きといった困難な感情に対して、検証セットで優れた頑健性を示した。
• CNN-BLSTM視覚的特徴抽出器はLBP-TOPおよび単体のCNNよりも優れており、検証セットで49.09%の精度を達成した。これは時間的モデリングの利点を示している。
• 両統合手法とも、単一モダリティベースラインよりも平均認識性能を向上させたが、特徴レベル融合がテストセットで最大の差を示した。
• モデルレベル融合は、確率的統合により不確実性とモダリティ固有の誤差を考慮できるため、困難な感情の認識において特徴レベル融合よりも効果的であった。
• 改善は見られたが、嫌悪、恐怖、驚きの認識は依然として困難であり、すべての単一モダリティベースラインが50%未満の精度にとどまり、これらのクラスにおけるより良い特徴表現の必要性が示された。