[論文レビュー] Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks

Fuzail Khan|arXiv (Cornell University)|Dec 10, 2018

Face and Expression Recognition参考文献 25被引用数 27

ひとこと要約

本稿では、顔の特徴点検出とユークリッド距離に基づく特徴ベクトルをマルチレイヤーパーセプトロン（MLP）ニューラルネットワークに供給する顔の感情認識システムを提案する。眼、眉、鼻、口の特徴点を活用することで、高精度な認識が達成され、特に表現の強い感情に対して優れた性能を示し、顔の表情における主観性についての洞察も得られた。

ABSTRACT

The proposed framework in this paper has the primary objective of classifying the facial expression shown by a person. These classifiable expressions can be any one of the six universal emotions along with the neutral emotion. After the initial facial localization is performed, facial landmark detection and feature extraction are applied where in the landmarks are determined to be the fiducial features: the eyebrows, eyes, nose and lips. This is primarily done using state-of-the-art facial landmark detection algorithms as well as traditional edge and corner point detection methods using Sobel filters and Shi Tomasi corner point detection methods respectively. This leads to generation of input feature vectors being formulated using Euclidean distances and trained into a Multi-Layer Perceptron (MLP) neural network in order to classify the expression being displayed. The results achieved have further dealt with higher uniformity in certain emotions and the inherently subjective nature of expression.

研究の動機と目的

• モバイルアプリケーションに適した低複雑性でリアルタイム対応の顔の感情認識（FER）システムの開発。
• 顔の表情における固有の主観性と変動性を、検出された特徴点からの幾何的特徴を分析することで解決。
• 顔の特徴点間の距離から導出されたハンドクラフト特徴ベクトルを用いて分類精度を向上。
• KDEFデータセットを用いて、個々の表情の変動がFER性能に与える影響を評価。

提案手法

• 70名の被験者が7つの感情（6つの基本的 emotions とニュートラル）を示す4900枚の画像を含む、カロリンスカ指向性感情顔（KDEF）データセットを用いた。
• 最新の顔の特徴点検出アルゴリズムに加え、従来のソーベルエッジ検出とシータマスコーナー検出を組み合わせ、頑健な特徴点抽出を実現。
• 主な顔の特徴点間のユークリッド距離（例：両目の間、口の端、眉の間）を用いて、顔の表情の幾何的表現を形成する入力特徴ベクトルを生成。
• Adam最適化子（学習率0.005）、ドロップアウト（0.3）、ソフトマックス出力による多クラス分類を実行したマルチレイヤーパーセプトロン（MLP）ニューラルネットワークを訓練。
• 90:10のトレーニング対テスト分割を採用し、一般化を向上させるために交差エントロピー損失とL2正則化を適用。
• 誤検出率の分析および特徴ベクトル（V7、V10–V12）の中央値に基づくデータ分割を実施し、表情の強度と個人差の影響を検討。

実験結果

リサーチクエスチョン

• RQ1 顔の特徴点から導出される幾何的特徴は、低複雑性フレームワークにおける顔の感情分類精度をどのように向上させるか？
• RQ2 喜びや驚きといった感情は、怒り、嫌悪、恐怖、悲しみと比較して、どれほど一貫性のある表情を示すか？
• RQ3 顔の表情強度における個人差が、分類性能および誤検出率に与える影響はいかほどか？
• RQ4 特徴点間の距離に基づく特徴ベクトルは、表情強度を効果的に捉え、モデルのロバスト性を向上させることができるか？

主な発見

• 本システムは、喜びに対して98.2％の真陽性率、驚きに対して95.8％の真陽性率を達成し、これらの感情の表情パターンに高い一貫性があることを示した。
• 怒り、嫌悪、恐怖、悲しみは中程度の精度（84–86％）を示し、顔の配置が類似しているため、クラス間の重複が顕著に見られた。
• ニュートラルな表情は90.1％の精度で分類され、低強度の表情に対しても優れた性能を示した。
• 誤検出率は、喜び（1.8％）と驚き（4.2％）で最も低く、怒り（14.4％）と嫌悪（15.1％）で最も高かった。
• V7、V10、V11、V12という特徴ベクトル（特徴点間距離を表す）の分析から、表情強度（例：笑顔の幅）が分類の一貫性と相関しており、特に表現が豊かな被験者で顕著に見られた。
• 表情強度の中央値に基づくデータ分割により、怒りと恐怖の分類性能が向上した。これは、個人の表情スタイルが認識結果に顕著に影響することを示唆している。