[論文レビュー] Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network

Shervin Minaee, AmirAli Abdolrashidi|arXiv (Cornell University)|Feb 3, 2019

Emotion and Mood Recognition被引用数 85

ひとこと要約

注意機構を備えたCNNと空間変換器を用いて顕著な顔領域に焦点を当て、FER2013、CK+、JAFFE、FERGのデータセット全体でFERに対する強力な結果を達成する。

ABSTRACT

Facial expression recognition has been an active research area over the past few decades, and it is still challenging due to the high intra-class variation. Traditional approaches for this problem rely on hand-crafted features such as SIFT, HOG and LBP, followed by a classifier trained on a database of images or videos. Most of these works perform reasonably well on datasets of images captured in a controlled condition, but fail to perform as good on more challenging datasets with more image variation and partial faces. In recent years, several works proposed an end-to-end framework for facial expression recognition, using deep learning models. Despite the better performance of these works, there still seems to be a great room for improvement. In this work, we propose a deep learning approach based on attentional convolutional network, which is able to focus on important parts of the face, and achieves significant improvement over previous models on multiple datasets, including FER-2013, CK+, FERG, and JAFFE. We also use a visualization technique which is able to find important face regions for detecting different emotions, based on the classifier's output. Through experimental results, we show that different emotions seems to be sensitive to different parts of the face.

研究の動機と目的

• 顔表情認識（FER）におけるクラス内変動の大きさに対処する。
• 感情検出のために顕著な顔領域に焦点を当てるよう注意機構を活用する。
• 浅いネットワーク（ゼロから訓練する）でもFERタスクでより深いモデルを上回ることを示す。
• モデルの決定を解釈するために顕著な顔領域の可視化を提供する。

提案手法

• 特徴抽出と分類のための、4層の畳み込み層、最大プーリング、ReLU、ドロップアウト、および2つの全結合層を備えたエンドツーエンドの注意機構付き畳み込みネットワーク。
• 空間変換器ネットワークを局在化モジュールとして組み込み、アフィン変換 T(θ) を推定し、重要な領域に注意するよう入力をワープする。
• 確率的最適化（Adam）による訓練で、損失 L_overall = L_classifier + λ||w(fc)||^2 とデータ拡張を併用。
• データセットごとに別々のモデルを訓練して、データセット特有の変動と限られたデータサイズに対応。

実験結果

リサーチクエスチョン

• RQ1 注意機構を備えたCNNは標準的なFERベンチマークで深いネットワークを上回るか。
• RQ2 モデルによると、どの顔領域が異なる感情を検出する際に最も顕著か。
• RQ3 提案手法はFER2013、CK+、JAFFE、FERGデータセット全体でどのように性能を示すか。
• RQ4 注目機構を伴うゼロからの訓練が小規模FERデータセットに与える影響は何か。

主な発見

• FER2013 のテスト精度は約 70.02%。
• JAFFE データセットの精度は約 92.8%。
• CK+ データセットの精度は約 98.0%。
• FERG データセットの精度は約 99.3%。
• 可視化は感情特有の顕著な領域を示す（例：幸福には口、怒りには目・眉など）と、画像間のばらつきに留意。