[論文レビュー] A Multi-component CNN-RNN Approach for Dimensional Emotion Recognition in-the-wild

Dimitrios Kollias, Stefanos Zafeiriou|arXiv (Cornell University)|May 3, 2018

Emotion and Mood Recognition参考文献 20被引用数 27

ひとこと要約

本稿では、OMG-EmotionおよびAff-Wildデータセットからの視覚的データを活用して、野生環境下における次元的感情認識のためのマルチコンponent CNN-RNNアーキテクチャを提案する。VGG-16およびResNet-50バックボーンをスタックドGRUとアンサンブル融合で組み合わせることで、後処理を施した後、OMG-Emotion検証セットにおいて感情の価値（valence）で0.496 CCC、覚醒（arousal）で0.311 CCCを達成し、ベースラインモデルを著しく上回る最先端の性能を発揮した。

ABSTRACT

This paper presents our approach to the One-Minute Gradual-Emotion Recognition (OMG-Emotion) Challenge, focusing on dimensional emotion recognition through visual analysis of the provided emotion videos. The approach is based on a Convolutional and Recurrent (CNN-RNN) deep neural architecture we have developed for the relevant large AffWild Emotion Database. We extended and adapted this architecture, by letting a combination of multiple features generated in the CNN component be explored by RNN subnets. Our target has been to obtain best performance on the OMG-Emotion visual validation data set, while learning the respective visual training data set. Extended experimentation has led to best architectures for the estimation of the values of the valence and arousal emotion dimensions over these data sets.

研究の動機と目的

• 野生環境の動画からの視覚的情報のみを用いて、連続的次元的感情認識（価値と覚醒）のためのディープラーニングアーキテクチャを開発すること。
• Aff-Wildデータベースで事前学習されたCNN-RNNモデルを拡張・適応させることで、OMG-Emotionチャレンジにおける性能を向上させること。
• 複数の特徴統合とアンサンブル学習戦略を検討し、自発的顔の動きに対する汎化性と耐性を向上させること。
• ネットワークの深さ、全結合層、ドロップアウト、学習率などのハイパーパramータを最適化し、検証セットでの最大性能を達成すること。
• 後処理技術が感情の価値と覚醒の次元における回帰出力をどのように改善するかを評価すること。

提案手法

• 複数の特徴（VGG-16またはResNet-50のCNNコンponentから得られる）を別々のRNNサブネットワーク（GRU）で処理し、顔の時間的ダイナミクスをモデル化するマルチコンponent CNN-RNNアーキテクチャを採用する。
• 収束が速く性能が優れていることから、LSTMの代わりにGated Recurrent Units（GRUs）を採用し、2層構造のGRUアーキテクチャが最適であることが判明した。
• 過学習を防ぐために、全結合層の間にドロップアウト確率0.5、GRU層の間に0.2を適用する。
• 複数のモデル（VGG-16およびResNet-50のバリエーション）の予測を統合するアンサンブル学習を採用し、出力の前後で中間の全結合層を有無にかかわらず統合する。
• 学習率（0.001）、バッチサイズ（80）、ニューロン数（最初のFCで4096、2番目のFCで2048）を含むハイパーパramータを広範な実験を通じて最適化する。
• 後処理技術を適用し、生の回帰出力を精錬することで、検証セットにおける相関係数を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチコンponent CNN-RNNアーキテクチャは、制約のない野生環境下における連続的次元的感情認識のための顔の時間的ダイナミクスを効果的にモデル化できるか？
• RQ2 VGG-16とResNet-50のCNNバックボーンの選択が、OMG-Emotionデータセットにおける価値と覚醒推定の性能にどのように影響するか？
• RQ3 検証セットでの性能を最大化するためのRNNの深さ、全結合層、ドロップアウト率の最適な設定は何か？
• RQ4 複数のCNN-RNNモデルをアンサンブル統合することで、単一モデルに比べて汎化性と性能がどの程度向上するか？
• RQ5 後処理技術は、感情の価値と覚醒の次元における回帰出力をどの程度効果的に精錬できるか？

主な発見

• 最高性能を示したモデル（VGG-16ベースのCNN-3RNN、最後の畳み込み特徴抽出）は、後処理を施す前、検証セットで価値（valence）で0.456 CCC、覚醒（arousal）で0.246 CCCを達成した。
• 後処理を施した後、最高のアンサンブルモデル（VGG-16-FC-RNN + ResNet-50-RNN + 出力層）は、価値で0.4845 CCC、覚醒で0.2886 CCCを達成し、ベースライン比で価値で7.7%、覚醒で3.5%の相対的改善を示した。
• VGG-16ベースのモデルがResNet-50ベースのモデルを上回り、最高性能のVGG-16モデル（CNN-3RNN-last-conv）は、価値で0.456 CCC、覚醒で0.246 CCCを達成した。
• LSTMの代わりにGRUを使用することで、すべての設定において性能が向上し、一貫した改善が確認された。
• VGG-16とResNet-50の異なるバックボーンを有するモデルのアンサンブル統合により、最高の性能が得られ、回帰タスクにおけるモデル多様性の利点が示された。
• 後処理技術はモデル出力を顕著に向上させ、生の回帰予測値はさらに精錬可能であり、真の価値と覚醒値との相関を高められることを示した。