[論文レビュー] A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition

Wenxuan Wang, Qiang Sun+6 more|arXiv (Cornell University)|Jul 25, 2019

Emotion and Mood Recognition参考文献 31被引用数 11

ひとこと要約

本稿では、54種類の微細な感情と4つのポーズを含む20万枚以上の画像を有する大規模な顔の感情データセットF²EDを紹介し、FaPE-GANに基づくデータ拡張フレームワークを提案することで、エンドツーエンドの顔の感情認識の性能を向上させている。この手法は、4つの新しい学習タスク—教師あり、不均衡な感情、不均衡なポーズ、ゼロショットの被験者ID—において最先端の性能を達成しており、GANを用いたデータ拡張が、挑戦的なデータ分布下でもモデルの汎化性能を顕著に向上させることを示している。

ABSTRACT

The recent research of facial expression recognition has made a lot of progress due to the development of deep learning technologies, but some typical challenging problems such as the variety of rich facial expressions and poses are still not resolved. To solve these problems, we develop a new Facial Expression Recognition (FER) framework by involving the facial poses into our image synthesizing and classification process. There are two major novelties in this work. First, we create a new facial expression dataset of more than 200k images with 119 persons, 4 poses and 54 expressions. To our knowledge this is the first dataset to label faces with subtle emotion changes for expression recognition purpose. It is also the first dataset that is large enough to validate the FER task on unbalanced poses, expressions, and zero-shot subject IDs. Second, we propose a facial pose generative adversarial network (FaPE-GAN) to synthesize new facial expression images to augment the data set for training purpose, and then learn a LightCNN based Fa-Net model for expression classification. Finally, we advocate four novel learning tasks on this dataset. The experimental results well validate the effectiveness of the proposed approach.

研究の動機と目的

• 微細な感情の変動と多様なポーズを有する大規模で高品質な顔の感情データセットの不足に対処すること。
• 不均衡な感情分布、不均衡なポーズ分布、ゼロショットの被験者IDが顔の感情認識性能に与える影響を調査すること。
• 現実のFERアプリケーションにおける困難なデータ分布のシフトに対しても汎化可能な、強力なエンドツーエンドのディープラーニングフレームワークを構築すること。
• GANベースのデータ拡張が、データが不足している状況や不均衡な状況下でモデル性能を向上させる有効性を検証すること。

提案手法

• 119名の被験者から得た20万枚以上の画像を用いて、54種類の微細な表現と4つの顔のポーズ（正面、左斜め、右斜め、上から見た角度）をラベル付けしたF²EDという新しいデータセットを構築した。
• ポーズと表現ラベルを条件として用いることで、多様な顔の表現画像を合成する顔のポーズ生成対抗ネットワーク（FaPE-GAN）を提案した。
• F²EDデータセットを用いてエンドツーエンドで訓練されたLightCNNベースの分類ネットワーク（Fa-Net）を設計した。
• 4つの新しい学習タスクを実装した：標準的な教師あり学習（ER-SS）、不均衡な感情（ER-UE）、不均衡なポーズ（ER-UP）、ゼロショット被験者ID（ER-ZID）。
• Fer2013およびJAFFEデータセット上で事前学習済みのFa-Netを微調整することで、トランスファー学習を実装し、汎化能力を評価した。
• FaPE-GANによるデータ拡張を適用し、特にリソースが限られた状況や不均衡な学習状況下でのモデルの頑健性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 表現とポーズの両方においてデータの不均衡が、顔の感情認識モデルの性能に与える影響は何か？
• RQ2 GANベースのデータ拡張は、リソースが限られた状況や不均衡な学習状況下で、モデルの汎化性能を効果的に向上させることができるか？
• RQ3 トレーニング時に見られなかったゼロショットの被験者IDに対して、大規模で微細なラベルが付与されたデータセットで学習したモデルは、どの程度汎化できるか？
• RQ4 ポーズを分離可能な属性として組み込むことで、視覚的アングルの変化に対して、感情認識の頑健性がどの程度向上するか？

主な発見

• Fa-NetモデルはF²EDデータセットを用いて標準的な教師ありタスク（ER-SS）で73.6%の精度を達成し、データセットの質の高さとトレーニングに適した性質を示した。
• FaPE-GANを用いたデータ拡張により、ER-SSタスクでのモデル精度が0.9%向上し、FERにおけるデータ拡張の有効性を確認した。
• 不均衡な感情タスク（ER-UE）では、データ拡張により精度が30.8%から34.3%に向上し、3.5%の向上を示した。これは、バランスの取れた状況下での向上より大きい。
• 不均衡なポーズタスク（ER-UP）では、精度が36.3%から39.9%に向上し、3.6%の向上を示した。これは、ポーズの不均衡下でも有効であることを示している。
• 最も挑戦的なゼロショットIDタスク（ER-ZID）では、モデルが7.1%の精度（ランダムの1.9%と比較）を達成し、FaPE-GANによる0.4%の向上を示した。これは、ゼロショット汎化における有効性を裏付けている。
• 事前学習済みのFa-NetをFer2013およびJAFFEデータセット上で微調整した結果、優れた性能を示し、F²EDに基づく表現の汎化性と転移可能性を確認した。