[論文レビュー] Automatic facial feature extraction and expression recognition based on neural network

S. P. Khandait, Ravindra C. Thool+1 more|arXiv (Cornell University)|Apr 10, 2012

Face and Expression Recognition参考文献 15被引用数 12

ひとこと要約

本稿では、順方向誤差逆伝播ネットワークを用いて顔の表情を7つのカテゴリに分類する、ニューラルネットワークベースのシステムを提示している。顔の特徴点の局所化には、形態的処理、SUSANエッジ検出、幾何的解析を採用し、JAFFEデータベースで95.26%のテスト精度を達成した。

ABSTRACT

In this paper, an approach to the problem of automatic facial feature extraction from a still frontal posed image and classification and recognition of facial expression and hence emotion and mood of a person is presented. Feed forward back propagation neural network is used as a classifier for classifying the expressions of supplied face into seven basic categories like surprise, neutral, sad, disgust, fear, happy and angry. For face portion segmentation and localization, morphological image processing operations are used. Permanent facial features like eyebrows, eyes, mouth and nose are extracted using SUSAN edge detection operator, facial geometry, edge projection analysis. Experiments are carried out on JAFFE facial expression database and gives better performance in terms of 100% accuracy for training set and 95.26% accuracy for test set.

研究の動機と目的

• 正面の静止画像から顔の特徴を自動で抽出するシステムの開発。
• 驚き、ニュートラル、悲しみ、嫌悪、恐怖、喜び、怒りの7つの基本的カテゴリに顔の表情を分類すること。
• 抽出された顔の特徴に基づいて人間の感情や気分を認識すること。
• ニューラルネットワーク分類を用いて顔の表情認識の精度を向上させること。
• 標準的な顔の表情データベース（JAFFE）を用いてシステムの性能を検証すること。

提案手法

• 形態的画像処理演算を用いた顔領域の局所化とセグメンテーション。
• SUSANエッジ検出演算子を用いた恒常的顔特徴（目、眉、口、鼻）の抽出。
• 顔の幾何学的解析とエッジプロジェクション解析を適用し、特徴点の局所化を精緻化。
• 顔の表情を7つの事前に定義されたカテゴリに分類するための順方向誤差逆伝播ニューラルネットワークの訓練。
• JAFFEデータベースを用いてシステムのトレーニングとテストの両方を実施。
• 教師あり学習を用いたマルチレイヤーパーセプトロン分類器の実装による表情分類。

実験結果

リサーチクエスチョン

• RQ1 形態的処理は、正面の静止画像から顔領域を効果的にセグメンテーションできるか？
• RQ2 SUSANエッジ検出と幾何的制約は、目、眉、口、鼻といった重要な顔特徴を信頼性高く抽出できるか？
• RQ3 順方向誤差逆伝播ニューラルネットワークは、7つの基本的カテゴリに顔の表情をどれほど正確に分類できるか？
• RQ4 本システムは、JAFFEデータベースの未学習のテストデータに対してどのように性能を発揮するか？
• RQ5 提案された表情認識フレームワークにおいて、トレーニング精度とテスト精度のトレードオフはどのようなものか？

主な発見

• 顔の表情分類において、トレーニングセットで100%の精度を達成した。
• テストセットの精度は95.26%に達し、優れた一般化性能を示した。
• 形態的処理は、正面のポーズ画像における顔領域の局所化に効果的であった。
• SUSANエッジ検出と幾何的制約の組み合わせにより、恒常的顔特徴のロバストな抽出が可能になった。
• 順方向誤差逆伝播ニューラルネットワークは、顔の表情を7つの明確なカテゴリに成功して分類した。
• 全体的なフレームワークは、標準的なJAFFE顔の表情データベースにおいて、高い信頼性と正確性を示した。