[論文レビュー] DeXpression: Deep Convolutional Neural Network for Expression Recognition

P. Burkert, Felix Trier+3 more|arXiv (Cornell University)|Sep 17, 2015

Emotion and Mood Recognition参考文献 15被引用数 107

ひとこと要約

DeXpressionは、手作業で特徴を設計しないエンドツーエンドの特徴抽出を用いて、拡張Cohn-Kanade（CK+）データセットで99.6%、MMIデータセットで98.63%の精度を達成する、顔の感情認識のための新しい深層畳み込みニューラルネットワーク（CNN）アーキテクチャを提案する。モデルは、生画像から階層的な顔の表現を直接学習する、マルチサイズの畳み込み層、ReLU活性化関数、マックスプーリングを組み合わせたカスタム特徴抽出モジュール（FeatEx）を採用する。

ABSTRACT

We propose a convolutional neural network (CNN) architecture for facial expression recognition. The proposed architecture is independent of any hand-crafted feature extraction and performs better than the earlier proposed convolutional neural network based approaches. We visualize the automatically extracted features which have been learned by the network in order to provide a better understanding. The standard datasets, i.e. Extended Cohn-Kanade (CKP) and MMI Facial Expression Databse are used for the quantitative evaluation. On the CKP set the current state of the art approach, using CNNs, achieves an accuracy of 99.2%. For the MMI dataset, currently the best accuracy for emotion recognition is 93.33%. The proposed architecture achieves 99.6% for CKP and 98.63% for MMI, therefore performing better than the state of the art using CNNs. Automatic facial expression recognition has a broad spectrum of applications such as human-computer interaction and safety systems. This is due to the fact that non-verbal cues are important forms of communication and play a pivotal role in interpersonal communication. The performance of the proposed architecture endorses the efficacy and reliable usage of the proposed work for real world applications.

研究の動機と目的

• 手作業による特徴設計に依存しない完全に自動化されたエンドツーエンドの深層学習フレームワークを構築すること。
• 従来のCNNベースのアプローチを改善し、優れた汎化性能と高い精度を実現する、新規で効率的なアーキテクチャを導入すること。
• ネットワークの意思決定プロセスをよりよく理解できるように、自動的に学習された特徴を可視化することで解釈可能性を提供すること。
• 標準ベンチマーク（CK+およびMMI）上でモデルを評価し、感情認識分野における最先端の性能を示すこと。

提案手法

• 提案されたアーキテクチャであるDeXpressionは、複数のフィルターサイズを持つ畳み込み層を統合したカスタム特徴抽出モジュール（FeatEx）を核として構築されており、マルチスケールの顔特徴を捉える。
• FeatExは、非線形性と空間不変性を向上させるために、ReLU活性化関数およびマックスプーリング層を統合している。
• ネットワークは、生の入力画像上で確率的勾配降下法を用いて学習され、事前処理や手作業による特徴工学を一切行わず、エンドツーエンドの学習が可能である。
• CK+およびMMIデータセットの両方の性能を評価するために、10分割交差検証戦略が適用され、妥当性と汎化性能が確保されている。
• GoogLeNetにインspiredされたが、計算コストを低減しつつも高い精度を維持するように簡素化されたアーキテクチャである。
• ネットワークが学習した内部表現を解釈するために特徴可視化が実施され、特に特徴的な顔の領域に注目している。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴設計に依存せずに、深層CNNアーキテクチャが顔の感情認識で最先端の性能を達成できるか？
• RQ2 提案されたFeatExモジュールは、感情分類のための特徴を学習する点で、標準的なCNNアーキテクチャと比べてどのように優れているか？
• RQ3 顔の感情認識タスクにおいて、生画像に対するエンドツーエンド学習と、事前処理済みまたはランドマークベースの入力の違いは、性能にどのような影響を与えるか？
• RQ4 誤分類はどのように発生するのか？また、曖昧な状態や初期段階の感情フレームではどのようなパターンが見られるか？
• RQ5 学習された特徴はどの程度解釈可能であり、ネットワークの意思決定ロジックを理解するのに役立つか？

主な発見

• DeXpressionは、拡張Cohn-Kanade（CK+）データセットで10分割交差検証精度99.6%を達成し、以前の最先端技術の99.2%を上回った。
• MMI顔の感情データベースでは、98.63%の精度を達成し、以前の最高記録の93.33%を上回った。
• 誤分類の多くは、感情表現が完全に発現していない初期フレームで発生しており、しばしば中立的または遷移的状態に近い状態である。
• CK+では「驚き」と「嫌悪」の間で最も高い誤分類率（0.045%）が観察され、MMIでは「恐怖」と「驚き」の間で0.0159%の誤分類率が観察された。両者とも、広く開いた目と口の構成が類似しているためである。
• 中立的または感情のないフレームに対しても、モデルは頑健であるが、誤差の多くは曖昧なまたは低強度の感情表現に起因しており、ネットワークのアーキテクチャそのものに起因するものではない。
• 特徴可視化の結果、ネットワークが目、眉、口といった重要な顔の領域に注目して学習していることが確認され、顔の動きのアクションユニットにおける既知の感情的キューと整合している。