[論文レビュー] Advanced local motion patterns for macro and micro facial expression recognition

Benjamin Allaert, Ioan Marius Bilasco+1 more|arXiv (Cornell University)|May 4, 2018

Face recognition and analysis参考文献 42被引用数 12

ひとこと要約

本稿では、空間的・時間的運動の一貫性と皮膚の弾性を捉えることで、マクロおよびマイクロ顔面表情を認識する新しい局所運動パターン（LMP）特徴を提案する。本手法は、データ拡張を用いず、マイクロ表情データセット（CASME IIで70.20%、SMICで67.68%）で最先端の性能を達成し、マクロ表情データセット（CK+で97.25%、Oulu-CASIAで84.58%）でも競争力のある結果を示しており、照明、アングル、強度の変動に対して高い耐性を示す。

ABSTRACT

In this paper, we develop a new method that recognizes facial expressions, on the basis of an innovative local motion patterns feature, with three main contributions. The first one is the analysis of the face skin temporal elasticity and face deformations during expression. The second one is a unified approach for both macro and micro expression recognition. And, the third one is the step forward towards in-the-wild expression recognition, dealing with challenges such as various intensity and various expression activation patterns, illumination variation and small head pose variations. Our method outperforms state-of-the-art methods for micro expression recognition and positions itself among top-rank state-of-the-art methods for macro expression recognition.

研究の動機と目的

• マクロおよびマイクロ顔面表情は、持続時間、強度、空間的範囲において本質的に異なるため、それらを統一的に認識するアプローチの開発。
• 顔面の運動を、皮膚の弾性と局所運動の一貫性を考慮した新しい空間的・時間的記述子でモデル化し、テクスチャや反射によるノイズを低減。
• 照明変動（近赤外を含む）、微小な頭部アングル変動、部分的または低強度の表情といった実環境の課題に対する耐性を向上。
• データ拡張やディープラーニングに依存せず、標準ベンチマークデータセットで高い性能を達成すること。

提案手法

• 本手法は、表情の中心部周辺の小さな顔面領域における時間的変化を分析することで、局所運動の一貫性を符号化する空間的・時間的特徴である局所運動パターン（LMP）を導入。
• LMPは、局所的な伝搬と一貫性を活用して運動の不連続性をフィルタリングし、高振幅のマクロ表情と低振幅のマイクロ表情の両方に対して有効である。
• 時間的変化における光流と局所的な明るさの変化を統合する運動エネルギーモデルを用いて特徴を計算し、最適な感度を得るため各データセットごとにパラメータを調整。
• 同一のLMP特徴を用いてマクロおよびマイクロ表情の両方を処理する統一フレームワークを採用し、マクロとマイクロ表情のための別々のパイプラインを不要に。
• 微小な頭部アングル変動や照明の変化に強い性能を向上させるために、LMPと幾何的特徴を組み合わせる。
• パラメータチューニング（λ, Δ, ρ, E, M, V, β, bin）は各データセットごとに実施し、解像度、フレームレート、照明条件などの取得条件に適応。

実験結果

リサーチクエスチョン

• RQ1 強度や持続時間の異なるマクロおよびマイクロ顔面表情のダイナミクスを、統一された運動記述子が効果的に捉えることができるか？
• RQ2 顔の皮膚の弾性と局所運動の一貫性をどのようにモデル化すれば、テクスチャ、反射、滑らかさに起因するノイズを低減できるか？
• RQ3 データ拡張を用いず、ディープラーニング手法を上回る性能を、LMPのようなハンドクラフト特徴がマイクロ表情認識で達成できるか？
• RQ4 1つの特徴ベースのアプローチが、照明変動や微小な頭部アングル変動を含む多様な実環境条件下でも、頑健な性能を発揮できるか？
• RQ5 運動特徴と幾何的特徴を統合することで、部分的または低強度の表情認識にどのように寄与するか？

主な発見

• 提案されたLMP手法は、マイクロ表情データセットCASME IIで70.20%の認識精度を達成し、既存の最先端手法を上回る。
• SMICデータセットでは、可視光スペクトルで67.68%、近赤外モダリティで86.11%の精度に達し、照明変動に対する強い耐性を示す。
• マクロ表情認識では、CK+で97.25%、Oulu-CASIAで84.58%、MMIで78.26%の精度を達成し、データ拡張なしで上位の手法に位置づけられる。
• 照明変動に対して高い耐性を示し、自然光および近赤外照明条件下でも良好な性能を発揮。
• 統一されたアプローチにより、1つの特徴を用いて両方の表情タイプを効果的に処理し、複雑さを低減するとともに、多様な表情パターンへの一般化性能を向上。
• パラメータ設定はデータセットごとに異なるが、最適値は定義された範囲内（例：λ ∈ [3,5]、Δ = 0.5、ρ ∈ [0.75,1]、bin ∈ [6,12]）に位置し、取得条件に適応可能であることが示された。