[論文レビュー] Dynamic Model of Facial Expression Recognition based on Eigen-face Approach

Nikunj Bajaj, Aurobinda Routray+1 more|arXiv (Cornell University)|Nov 23, 2013

Face and Expression Recognition参考文献 14被引用数 7

ひとこと要約

本稿では、主成分分析（PCA）とハール特徴を組み合わせた固有顔アプローチを用いて、顔の検出と顔の表情の時間的変化のモデル化を行う動的顔の表情認識モデルを提案する。順次的な顔画像を主成分固有方向に投影し、重みベクトルのダイナミクスを分析することで、個人に特化したアプローチにより、喜び、悲しみ、驚き、怒りの4つの基本的感情を分類する。この手法により、個々の表情のばらつきや強度の違いに対しても、頑健な認識が達成される。

ABSTRACT

Emotions are best way of communicating information; and sometimes it carry more information than words. Recently, there has been a huge interest in automatic recognition of human emotion because of its wide spread application in security, surveillance, marketing, advertisement, and human-computer interaction. To communicate with a computer in a natural way, it will be desirable to use more natural modes of human communication based on voice, gestures and facial expressions. In this paper, a holistic approach for facial expression recognition is proposed which captures the variation in facial features in temporal domain and classifies the sequence of images in different emotions. The proposed method uses Haar-like features to detect face in an image. The dimensionality of the eigenspace is reduced using Principal Component Analysis (PCA). By projecting the subsequent face images into principal eigen directions, the variation pattern of the obtained weight vector is modeled to classify it into different emotions. Owing to the variations of expressions for different people and its intensity, a person specific method for emotion recognition is followed. Using the gray scale images of the frontal face, the system is able to classify four basic emotions such as happiness, sadness, surprise, and anger.

研究の動機と目的

• 顔の特徴の時間的変化を捉える包括的で動的な自動顔の表情認識モデルの構築。
• 異なる人々における顔の表情のばらつきや表情の強度の違いに対処すること。
• 固有空間への投影を用いて顔の特徴の時間的変化をモデル化することで、感情認識の精度を向上させること。
• 喜び、悲しみ、驚き、怒りのような感情の認識を通じて、自然な人間-コンピュータインタラクションを実現すること。
• 多様な表情パターン下でも性能を向上させるために、個人に特化した認識戦略を実装すること。

提案手法

• 顔の検出は、グレースケール画像における顔の局所化を目的として、ハール特徴を用いて実行される。
• 主成分分析（PCA）を用いて、顔画像空間の次元を低減し、固有空間を構築する。
• その後の顔画像は、主成分固有方向に投影され、顔の変動を表す重みベクトルが抽出される。
• 重みベクトルの時間的ダイナミクスをモデル化することで、画像系列における表情の進化を捉える。
• 個人差に応じた表現パターンや強度の違いを考慮するため、個人に特化した分類戦略が採用される。
• 削減された固有空間における重みベクトルの動的挙動を分析することで、感情分類が行われる。

実験結果

リサーチクエスチョン

• RQ1 顔の表情の時間的変化を効果的にモデル化することで、感情認識の精度を向上させることは可能か？
• RQ2 個人に特化したモデリングは、多様な表情パターン下での認識精度をどの程度向上させるか？
• RQ3 PCAに基づく固有空間表現は、喜び、悲しみ、驚き、怒りのような基本的感情のための特徴を効果的に捉えられるか？
• RQ4 ハール特徴は、動的顔の表情認識の文脈において、顔の検出をどのように強化するか？
• RQ5 表情の強度の変動が認識性能に与える影響は何か？ そして、その影響をどのように軽減できるか？

主な発見

• 提案手法は、顔の表情シーケンスの動的モデリングを用いて、喜び、悲しみ、驚き、怒りの4つの基本的感情を効果的に分類した。
• 個人に特化したモデリングにより、表情の強度やパターンの個人差を考慮することで、認識性能が顕著に向上した。
• PCAの使用により、次元削減が効果的に行われるとともに、感情分類に有用な特徴が保持された。
• 固有空間における重みベクトルの時間的モデリングにより、フレーム間での表情の進化を正確に追跡できるようになった。
• ハール特徴は、前面のグレースケール画像において、信頼性の高い顔の検出を提供し、認識パイプラインの安定した入力として機能した。
• 動的で個人に特化したアプローチにより、表情強度のばらつきや個人の顔貌的特徴の違いに対しても、システムは頑健であることが示された。