[論文レビュー] Facial Emotion Recognition using Convolutional Neural Networks

Akash Saravanan, Gurudutt Perichetla+1 more|arXiv (Cornell University)|Oct 12, 2019

Emotion and Mood RecognitionPsychology参考文献 10被引用数 17

ひとこと要約

本論文では、Fer-2013データセットを単一のデータセットとして使用し、軽量なアーキテクチャを採用することで、60%の精度を達成する6層の畳み込みニューラルネットワーク（CNN）を提案する。モデルはフィルターやマックスプーリングを用いて空間的特徴を抽出し、トップ2の予測により信頼性が向上する。最小限のデータとリアルタイム推論能力を備えた、ほぼ最先端の性能を示している。

ABSTRACT

Facial expression recognition is a topic of great interest in most fields from artificial intelligence and gaming to marketing and healthcare. The goal of this paper is to classify images of human faces into one of seven basic emotions. A number of different models were experimented with, including decision trees and neural networks before arriving at a final Convolutional Neural Network (CNN) model. CNNs work better for image recognition tasks since they are able to capture spacial features of the inputs due to their large number of filters. The proposed model consists of six convolutional layers, two max pooling layers and two fully connected layers. Upon tuning of the various hyperparameters, this model achieved a final accuracy of 0.60.

研究の動機と目的

• 怒り、嫌悪、恐怖、喜び、悲しみ、驚き、ニュートラルの7つの感情に分類可能な、リアルタイムの顔の感情認識システムの開発。
• 明るさの変動、部分的な顔の可視性、稀な感情（嫌悪や恐怖）のトレーニングデータの不均衡といった、実世界での展開における課題の解決。
• 複数のデータセットを組み合わせることなく、Fer-2013データセットのみを用いて高い精度を達成することを目的とし、モデルの効率性と一般化性能に重点を置く。
• ライブのウェブカメラ入力におけるモデルの性能を評価し、医療、ゲーム、マーケティングなどの実用分野におけるリアルタイム応用可能性を検証する。
• ハイパーパrameterチューニングおよびアーキテクチャ選定が、特にリソースが限られた感情クラスの認識精度に与える影響の調査。

提案手法

• 顔の画像から階層的な空間的特徴を抽出するために、6層の畳み込み層、2つのマックスプーリング層、2つの全結合層を備えたCNNを設計した。
• Fer-2013データセット上で収束性と一般化性能を向上させるために、調整されたハイパーパrameterを用いてAdam最適化手法で学習を実施した。
• 出力のソフトマックス層から予測確率が最も高い感情を選択することで、感情分類を実行した。
• ウェブカメラ入力を用いたライブテストモジュールを実装し、遅延がほとんど感じられないリアルタイム推論を実現した。
• 誤分類のパターンを特定するため、混同行列分析とトップ2の予測評価を用いてモデルの信頼性を評価した。
• データオーグメンテーションは、特に嫌悪や恐怖といった低頻度の感情に対して不均衡が生じる問題を緩和するための今後の改善策として検討された。

実験結果

リサーチクエスチョン

• RQ1 単一の軽量なCNNアーキテクチャが、Fer-2013データセットのみを用いてほぼ最先端の顔の感情認識精度を達成できるか？
• RQ2 モデルはライブのウェブカメラ入力に対してどのように動作するか？制御されていない環境下での推論速度と信頼性は？
• RQ3 トップ1の予測と比較して、トップ2の予測が全体の認識精度をどの程度向上させるか？
• RQ4 なぜモデルは嫌悪や恐怖といった特定の感情に苦戦するのか？クラスの不均衡は性能にどのように影響するか？
• RQ5 マルチデータセット学習に依存せずに、ハイパーパrameterチューニングとアーキテクチャ選定が性能を顕著に向上させられるか？

主な発見

• 提案されたCNNは、Fer-2013データセット上で最終的に60%の精度を達成し、単一のデータセットと最小限のアーキテクチャ複雑性のもとで強力な性能を示した。
• 喜びと驚きが最も正確に予測されたが、それぞれ60%に近い精度を示した。一方、嫌悪はわずかに50%を超える確率で正しく予測された。
• リアルタイムのウェブカメラテストにおいて、モデルは高い信頼性を示した。喜びと驚きはほぼすべてのケースで正しく識別され、ニュートラル／悲しみの表現についても約半数のケースで正しく分類された。
• 怒りと恐怖は頻繁に混同され、嫌悪はほとんど正しく予測されなかった。これは、微細なまたは低頻度の感情を区別する困難さを示している。
• トップ2の予測戦略により信頼性が顕著に向上した。正解の感情がしばしば2番目に高い確率の予測として現れたため、この戦略が頑健な推論に有効であることが確認された。
• 遅延がほとんど感じられないリアルタイム推論が達成されたため、ゲーム、医療、マーケティングなどのライブアプリケーションへの展開可能性が強く示唆された。