[論文レビュー] Facial Emotions Recognition using Convolutional Neural Net

Faisal Ghaffar|arXiv (Cornell University)|Jan 6, 2020

Face and Expression Recognition参考文献 19被引用数 6

ひとこと要約

本論文では、JAFFEおよびKDEFデータセットからの前処理済み画像を用いて、怒り、嫌悪、恐怖、喜び、悲しみ、驚き、ニュートラルの7つの基本的顔の感情を認識するための畳み込みニューラルネットワーク（CNN）ベースのシステムを提案する。データ拡張とドロップアウトを適用した3層の畳み込み層アーキテクチャを用いることで、統合データセット上で78.1%の精度を達成し、ライブ感情分類用のリアルタイムGUIアプリケーションを実装した。

ABSTRACT

Facial expressions vary from person to person, and the brightness, contrast, and resolution of every random image are different. This is why recognizing facial expressions is very difficult. This article proposes an efficient system for facial emotion recognition for the seven basic human emotions (angry, disgust, fear, happy, sad, surprise, and neutral), using a convolution neural network (CNN), which predicts and assigns probabilities to each emotion. Since deep learning models learn from data, thus, our proposed system processes each image with various pre-processing steps for better prediction. Every image was first passed through the face detection algorithm to include in the training dataset. As CNN requires a large amount of data, we duplicated our data using various filters on each image. Pre-processed images of size 80*100 are passed as input to the first layer of CNN. Three convolutional layers were used, followed by a pooling layer and three dense layers. The dropout rate for the dense layer was 20%. The model was trained by combining two publicly available datasets, JAFFE and KDEF. 90% of the data was used for training, while 10% was used for testing. We achieved maximum accuracy of 78.1 % using the combined dataset. Moreover, we designed an application of the proposed system with a graphical user interface that classifies emotions in real-time.

研究の動機と目的

• 7つの基本的ヒトの感情を正確かつ強固に認識する顔の感情認識システムの開発を目的とする。
• 包括的な画像前処理を通じて、顔の表情、照明、画像品質のばらつきに対処することを目的とする。
• JAFFEおよびKDEFデータセットからのデータを統合・拡張することで、モデルの一般化能力を向上させることを目的とする。
• グラフィカルユーザーインターフェースを備えたリアルタイム感情分類アプリケーションの実装を目的とする。
• 多様で前処理済みの顔画像データセット上で、CNNベースのモデルのパフォーマンスを評価することを目的とする。

提案手法

• 顔検出を適用して、CNNに供給するための顔領域を抽出した。
• フィルタを用いた前処理と拡張により、トレーニングデータの多様性を高め、モデルの頑健性を向上させた。
• 3層の畳み込み層、マックスプーリング、3層の全結合層を備えたCNNアーキテクチャを用いた。
• 過学習を軽減するために、全結合層に20%のドロップアウト率を適用した。
• モデルは、統合されたJAFFEおよびKDEFデータセットの90%で学習させ、残りの10%でテストした。
• ライブ動画入力からの感情分類を実現するため、訓練済みモデルを用いたリアルタイムGUIアプリケーションを開発した。

実験結果

リサーチクエスチョン

• RQ1 照明や解像度の異なるさまざまな画像条件下でも、CNNが7つの基本的顔の感情を効果的に認識できるか？
• RQ2 データ拡張は、顔の感情認識タスクにおけるCNNのパフォーマンスにどのように影響するか？
• RQ3 独自のCNNアーキテクチャを用いて、JAFFEおよびKDEFデータセットを統合することで達成可能な精度はどの程度か？
• RQ4 訓練済みのCNNモデルは、ライブ感情分類用のリアルタイムGUIアプリケーションに効果的にデプロイ可能か？
• RQ5 ドロップアウト正則化は、感情認識モデルの一般化にどのように影響するか？

主な発見

• 提案されたCNNモデルは、統合されたJAFFEおよびKDEFデータセット上で最大78.1%の精度を達成した。
• フィルタを用いたデータ拡張により、多様な画像条件下でのモデルの頑健性と一般化能力が顕著に向上した。
• 20%のドロップアウト率の導入により、過学習が軽減され、モデルの安定性が向上した。
• システムは、機能的なグラフィカルユーザーインターフェースを備えたリアルタイム感情分類アプリケーションを成功裏に実装した。
• 顔検出による前処理により、入力データの関連性が向上し、顔領域に限定された情報処理が可能になった。
• モデルは7つのターゲット感情すべてで一貫したパフォーマンスを示したが、分類ごとの精度にわずかな差異が見られた。