[論文レビュー] Facial Emotion Detection Using Convolutional Neural Networks and Representational Autoencoder Units

Prudhvi Raj Dachapally|arXiv (Cornell University)|Jun 5, 2017

Face recognition and analysis参考文献 5被引用数 48

ひとこと要約

本論文では、顔の感情検出のための2つのディープラーニング手法を提案する：感情に特化した特徴表現を学習するための表現的オートエンコーダーと、8層の畳み込みニューラルネットワーク（CNN）。JAFFEデータセットで訓練し、LFWでテストした結果、CNNは深さの向上とファインチューニングにより、最先端の手法を上回り、顔の表現における現実世界の変動に頑健であることを示した。

ABSTRACT

Emotion being a subjective thing, leveraging knowledge and science behind labeled data and extracting the components that constitute it, has been a challenging problem in the industry for many years. With the evolution of deep learning in computer vision, emotion recognition has become a widely-tackled research problem. In this work, we propose two independent methods for this very task. The first method uses autoencoders to construct a unique representation of each emotion, while the second method is an 8-layer convolutional neural network (CNN). These methods were trained on the posed-emotion dataset (JAFFE), and to test their robustness, both the models were also tested on 100 random images from the Labeled Faces in the Wild (LFW) dataset, which consists of images that are candid than posed. The results show that with more fine-tuning and depth, our CNN model can outperform the state-of-the-art methods for emotion recognition. We also propose some exciting ideas for expanding the concept of representational autoencoders to improve their performance.

研究の動機と目的

• データ駆動型ディープラーニング手法を用いて、顔の表情認識における主観的な感情表現の課題に対処すること。
• 顔画像からコンパクトで感情特化型の特徴表現を学習する、新たな表現的オートエンコーダーの開発。
• 微細な感情分類に最適化された、深さ8層のCNNアーキテクチャの設計。
• ポーズあり（JAFFE）と自然な（LFW）顔画像データセットの両方でテストすることで、モデルの一般化能力を評価すること。
• 表現的オートエンコーダーの性能を向上させるために、アーキテクチャの改善を検討すること。

提案手法

• 表現的オートエンコーダーは、顔画像の再構成を目的としながら、分離可能で感情に依存する潜在表現を学習する。
• オートエンコーダーはボトルネック層を用い、顔の特徴をより低い次元空間に圧縮し、感情に関連するパターンを捉える。
• 畳み込み層、バッチ正則化層、ReLU層を備えた8層の深層CNNを設計し、顔画像からの階層的空間特徴を抽出する。
• 両モデルは、交差エントロピー損失と確率的勾配降下法を用いて、JAFFEデータセット上でエンドツーエンドに訓練された。
• モデルの頑健性は、LFWデータセットからランダムに選択された100枚の画像で訓練済みネットワークをテストすることで評価された。これらの画像は、非ポーズ、現実世界の顔の表情を含む。
• ハイパーパrameterチューニングと深さスケーリングをCNNに適用し、特に困難な非制約的画像での性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 表現的オートエンコーダーは、顔画像から判別性の高い、感情特化型の特徴を効果的に学習できるか？
• RQ2 ネットワークの深さを増やし、ファインチューニングを施すことで、非制約的データセットにおける感情認識の性能がどのように向上するか？
• RQ3 ポーズありデータで訓練したCNNは、LFWデータセットの現実的で自然な顔の画像にどの程度一般化できるか？
• RQ4 表現的オートエンコーダーにアーキテクチャの改善を加えることで、顔の感情認識における性能が向上するか？
• RQ5 精度と頑健性の観点から、提案手法は既存の最先端手法と比べてどの程度優れているか？

主な発見

• 8層のCNNモデルは、ファインチューニングと深さ最適化を経て、JAFFEデータセットで最先端の手法を上回った。
• CNNは強力な一般化能力を示し、非制約的で自然な性質を持つLFWデータセットでも、信頼性の高い性能を達成した。
• 表現的オートエンコーダーは、コンパクトで感情に関連する表現を効果的に学習したが、CNNほど高い精度ではなかった。
• LFWでのテストにより、両モデルが現実世界の顔の表情に対しても合理的な性能を維持していることが確認され、ポーズや照明の変動に対しても頑健であることが示された。
• 本研究では、適切なファインチューニングを施した深層アーキテクチャが、感情認識の性能を顕著に向上させることを示唆している。
• 著者らは、将来的には表現的オートエンコーダーの改善を、より良い分離性と階層的特徴学習に焦点を当てることを提案している。