[論文レビュー] Face Expression Recognition and Analysis: The State of the Art

Vinay Bettadapura|arXiv (Cornell University)|Mar 30, 2012

Face and Expression Recognition参考文献 69被引用数 272

ひとこと要約

本論文は2001年から2012年までの顔の感情認識（FER）に関する包括的でチュートリアル風のサーベイを提供しており、顔検出、トラッキング、特徴抽出、感情分類の分野における進展をカバーしている。主なデータベース、標準化の取り組み、FACS AUsおよびMPEG-4 FAPsを用いた顔のパラメータ化、および分野における課題と今後の方向性についても議論しており、初心者や研究者にとって基盤的なリソースとなっている。

ABSTRACT

The automatic recognition of facial expressions has been an active research topic since the early nineties. There have been several advances in the past few years in terms of face detection and tracking, feature extraction mechanisms and the techniques used for expression classification. This paper surveys some of the published work since 2001 till date. The paper presents a time-line view of the advances made in this field, the applications of automatic face expression recognizers, the characteristics of an ideal system, the databases that have been used and the advances made in terms of their standardization and a detailed summary of the state of the art. The paper also discusses facial parameterization using FACS Action Units (AUs) and MPEG-4 Facial Animation Parameters (FAPs) and the recent advances in face detection, tracking and feature extraction methods. Notes have also been presented on emotions, expressions and facial features, discussion on the six prototypic expressions and the recent studies on expression classifiers. The paper ends with a note on the challenges and the future work. This paper has been written in a tutorial style with the intention of helping students and researchers who are new to this field.

研究の動機と目的

• 本分野に新たに参入する研究者や学生向けに、顔の感情認識（FER）について包括的でチュートリアル風の概要を提供すること。
• 2001年以降の顔検出、トラッキング、特徴抽出、感情分類の分野における主な進展を文書化し分析すること。
• 標準化されたデータベース、FACSアクションユニット（AUs）およびMPEG-4顔アニメーションパラメータ（FAPs）を用いた顔のパラメータ化、およびそれらがFERにおける役割をレビューすること。
• 継続的な課題を特定し、自動顔の感情分析分野における今後の研究方向性を提示すること。
• 2012年時点でのFER分野の最先端技術を理解するための基準点を提供すること。

提案手法

• 2001年から2012年までの顔の感情認識分野における出版済み研究の体系的レビュー。
• 顔検出、トラッキング、特徴抽出、感情分類手法に基づく手法の分類。
• 顔のパラメータ化の分析：顔の行動コード体系（FACS）のアクションユニット（AUs）およびMPEG-4顔アニメーションパラメータ（FAPs）を用いて。
• FER研究で使用された公開データベースの評価、標準化および有用性の検討。
• 機械学習およびパターン認識アプローチを用いた感情分類のトレンドの統合的分析。
• 実世界の応用におけるクラス内変動、遮蔽、照明の変化といった課題の提示。

実験結果

リサーチクエスチョン

• RQ1 2001年以降、顔の感情認識分野でどのような主要な技術的進歩が達成されたか？
• RQ2 感情認識の文脈において、顔検出、トラッキング、特徴抽出手法はどのように進化したか？
• RQ3 FACS AUsおよびMPEG-4 FAPsは、顔の感情表現の標準化にどのような役割を果たしているか？
• RQ4 FER研究の発展に最も寄与したデータベースは何か？また、それらは標準化にどのように貢献したか？
• RQ5 実用的で頑健な顔の感情認識システムの開発において、継続的な課題や未解決の問題は何か？

主な発見

• 顔検出およびトラッキング分野で顕著な進歩が見られ、感情分析のための顔領域の正確な局所化が可能になった。
• 特徴抽出手法は、LBPやガボールフィルタなどの従来の手法から、より高度な表現に進化し、分類精度の向上に寄与した。
• 感情分類手法は機械学習の活用が増加し、SVMやHMMが用いられるようになったが、データセットや特徴選択に応じて性能にばらつきが見られた。
• RAF-DB、AffectNet、JAFFEといった標準化されたデータベースが、FERシステムのベンチマーク化および比較に不可欠な役割を果たした。
• FACS AUsおよびMPEG-4 FAPsは、顔の動きを定量化するための主要なフレームワークとして浮上し、より解釈可能で一貫性のある感情モデリングを可能にした。
• 進歩にもかかわらず、ポーズの変化、遮蔽、微細な感情認識といった課題は、実世界への導入において依然として大きな障壁のままである。