[論文レビュー] How Deep Neural Networks Can Improve Emotion Recognition on Video Data

Pooya Khorrami, Tom Le Paine+3 more|arXiv (Cornell University)|Feb 24, 2016

Emotion and Mood Recognition参考文献 13被引用数 10

ひとこと要約

本論文は、動画データにおける次元的感情認識のためのCNN+RNNフレームワークを提案している。畳み込みネットワークを用いてフレームレベルの特徴を抽出し、再帰的ネットワークを用いて時間的ダイナミクスをモデル化する。本手法はAV+EC 2015データセットにおいて最先端の性能を達成し、CCCスコアが0.507に達し、ベースラインモデルを上回り、連続的感情予測におけるエンドツーエンドのディープラーニングの有効性を示している。

ABSTRACT

We consider the task of dimensional emotion recognition on video data using deep learning. While several previous methods have shown the benefits of training temporal neural network models such as recurrent neural networks (RNNs) on hand-crafted features, few works have considered combining convolutional neural networks (CNNs) with RNNs. In this work, we present a system that performs emotion recognition on video data using both CNNs and RNNs, and we also analyze how much each neural network component contributes to the system's overall performance. We present our findings on videos from the Audio/Visual+Emotion Challenge (AV+EC2015). In our experiments, we analyze the effects of several hyperparameters on overall performance while also achieving superior performance to the baseline and other competing methods.

研究の動機と目的

• 従来の手作業で特徴を抽出する手法と比較して、深層ニューラルネットワークが動画データにおける次元的感情認識を改善できるかどうかを調査すること。
• 畳み込みニューラルネットワーク（CNN）と再帰的ニューラルネットワーク（RNN）が、時間的感情ダイナミクスをモデル化するために個別に、および共同で果たす貢献を評価すること。
• 連続的価値予測のパフォーマンス向上を目的として、ウィンドウ長、隠れユニット数、RNNの深さなどのハイパーパrameterを最適化すること。
• AV+EC 2015ベンチマークにおいて、提案されたCNN+RNNモデルを他の最先端手法と比較すること。

提案手法

• 個々の動画フレームから空間的特徴を抽出するために、3層の畳み込み層（64、128、256フィルタ）、ReLU活性化関数、マックスプーリング、300ユニットの全結合層を備えた単一フレームCNNを用いる。
• CNNは固定され、特徴抽出器として使用される。その300次元の出力をRNNに供給し、フレームの系列における時間的依存性をモデル化する。
• RNNの入力としてWフレームの時間的ウィンドウが使用され、最終的なRNN出力が各時刻における価値スコアを予測する。
• RNNはゲート付き再帰ユニット（GRUs）を用い、ReLUまたはtanh活性化関数を採用し、平均二乗誤差損失を用いてエンドツーエンドでモデルを学習する。
• 性能最適化のため、ウィンドウサイズ（W）、隠れユニット数（h）、RNN層数をパラメータチューニングする。
• 性能評価にはRMSE、ピアソン相関（CC）、および一致相関係数（CCC）を用い、主な指標としてCCCが使用される。

実験結果

リサーチクエスチョン

• RQ1 単一フレームCNNは、動画データにおける次元的感情認識において、手作業で特徴を抽出するモデルを上回ることができるか？
• RQ2 時間的ダイナミクスをモデル化する際、RNN部の追加が連続的感情予測のパフォーマンスにどの程度向上をもたらすか？
• RQ3 価値回帰のためのCNN+RNNアーキテクチャにおいて、ウィンドウ長、隠れユニット数、RNNの深さといったハイパーパrameterの最適な設定は何か？
• RQ4 AV+EC 2015データセットにおいて、CNN+RNNモデルはCCC、CC、RMSEの観点から他の最先端手法と比較してどのように差をつけるか？

主な発見

• CNN+RNNモデルは、AV+EC 2015開発セットにおいてCCCスコア0.507を達成し、ベースライン手法（CCC: 0.273）および他の競合手法を上回った。
• ドロップアウトを適用した単一フレームCNN（CNN+D）はCCC 0.326を達成し、学習された特徴量のみでも手作業特徴ベースラインを上回ることを示した。
• RNNの最適な時間的ウィンドウ長は100フレーム（約4秒）であり、これが最高のCCCをもたらした。それより短いまたは長いウィンドウは性能を低下させた。
• 隠れユニット数が100の設定が最良のバランスを示し、50および200ユニットの設定では性能が低下した。
• RNNに3層の隠れ層を採用した場合、1層または2層のモデルよりもわずかに性能が向上し、CCCは0.507を記録した。
• RNNの活性化関数としてReLUを用いることでtanhを上回り、CCCは0.506を達成した（tanhでは0.492）。これは勾配の流れが良く、表現学習が向上していることを示している。