[論文レビュー] A Review on Facial Micro-Expressions Analysis: Datasets, Features and Metrics

Walied Merghani, Adrian K. Davison+1 more|arXiv (Cornell University)|May 7, 2018

Emotion and Mood Recognition参考文献 73被引用数 48

ひとこと要約

顔の微表情データセット、特徴表現、および評価指標の包括的な調査であり、自動的な微表情分析の課題と今後の方向性を強調する。

ABSTRACT

Facial micro-expressions are very brief, spontaneous facial expressions that appear on the face of humans when they either deliberately or unconsciously conceal an emotion. Micro-expression has shorter duration than macro-expression, which makes it more challenging for human and machine. Over the past ten years, automatic micro-expressions recognition has attracted increasing attention from researchers in psychology, computer science, security, neuroscience and other related disciplines. The aim of this paper is to provide the insights of automatic micro-expressions and recommendations for future research. There has been a lot of datasets released over the last decade that facilitated the rapid growth in this field. However, comparison across different datasets is difficult due to the inconsistency in experiment protocol, features used and evaluation methods. To address these issues, we review the datasets, features and the performance metrics deployed in the literature. Relevant challenges such as the spatial temporal settings during data collection, emotional classes versus objective classes in data labelling, face regions in data analysis, standardisation of metrics and the requirements for real-world implementation are discussed. We conclude by proposing some promising future directions to advancing micro-expressions research.

研究の動機と目的

• 公開されている顔の微表情データセットを要約し、それらを自発性、サンプリングレート、ラベリングで分類する。
• 微表情認識に用いられる特徴表現とその歴史的な推移を概説する。
• 微表情研究における性能指標と評価プロトコルを分析する。
• 研究間比較性に影響する主要な課題と標準化の不足を特定する。
• 微表情研究を進展させるための提言と将来の方向性を示す。

提案手法

• データセットを網羅的にカタログ化し（自発的・非自発的を含む）、主要な特性（fps、解像度、参加者、感情、FACSコーディング）を比較する。
• 特徴抽出法（3D HOG、LBP-TOP、HOOF、GDs、Deep Learning）を概観し、それらの時系列での発展を整理する。
• 研究全体で報告された性能指標と評価設定（LOS0、LOVO など）を要約する。
• 刺激設計、高速撮影、倫理的側面などのデータ収集の課題と、感情と客観的クラスのラベル付けの問題点を議論する。
• 知見を統合し、データセット・標準・実世界での適用可能性の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 公開されている微表情データセットはどれで、自発性、フレームレート、ラベリングはどう異なるか？
• RQ2 微表情認識に最も効果的な特徴表現はどれで、それはどのように進化してきたか？
• RQ3 どの評価プロトコルと指標が用いられ、クロス-studyの比較性にどう影響するか？
• RQ4 実世界での微表情分析の展開を妨げる主な課題は何で、今後の研究はそれをどう解決できるか？
• RQ5 データセット、特徴、指標を標準化するために今後の研究へどのような提言を行えるか？

主な発見

• 非自発的データセットはポージングの影響があり公開性も限られているため、実世界の応用にはあまり適していない。
• CASME II や SAMM のような自発データセットは高いフレームレートと多様な参加者を提供し、認識タスクに有利である。
• LBP-TOP は初期の微表情研究で支配的な特徴であり、3DHOG と HOOF はそれぞれ初期と後期の研究に寄与してきた。深層学習は出てきているがデータサイズの制約でまだ限定的。
• データセット間の性能はプロトコルの違いにより大きくばらつく。標準化されたベンチマークと指標の必要性を強調する。
• CASME II と SAMM の参加者の多様性、高い時空間解像度、FACS ラベリングが微表情研究の重要な利点である。