[論文レビュー] Automatic Micro-Expression Apex Frame Spotting using Local Binary Pattern from Six Intersection Planes

Vida Esmaeili, Mahmood Mohassel Feghhi+1 more|arXiv (Cornell University)|Apr 5, 2021

Emotion and Mood Recognition参考文献 19被引用数 4

ひとこと要約

本稿では、局所的バイナリーパターン（LBP）を6つの交差平面に適用することで、自動的マイクロエクスプレッションの頂点フレームを特定するための新しい特徴抽出手法LBP-SIPlを提案する。LBP-TOPに比べてより豊かな空間時間的ダイナミクスを捉えることで、CASMEデータベース上で43%の自動頂点フレーム検出率と1.76の平均絶対誤差を達成し、既存の手法を上回る性能を示した。

ABSTRACT

Facial expressions are one of the most effective ways for non-verbal communications, which can be expressed as the Micro-Expression (ME) in the high-stake situations. The MEs are involuntary, rapid, and, subtle, and they can reveal real human intentions. However, their feature extraction is very challenging due to their low intensity and very short duration. Although Local Binary Pattern from Three Orthogonal Plane (LBP-TOP) feature extractor is useful for the ME analysis, it does not consider essential information. To address this problem, we propose a new feature extractor called Local Binary Pattern from Six Intersection Planes (LBP-SIPl). This method extracts LBP code on six intersection planes, and then it combines them. Results show that the proposed method has superior performance in apex frame spotting automatically in comparison with the relevant methods on the CASME database. Simulation results show that, using the proposed method, the apex frame has been spotted in 43% of subjects in the CASME database, automatically. Also, the mean absolute error of 1.76 is achieved, using our novel proposed method.

研究の動機と目的

• マイクロエクスプレッションの頂点フレームを検出する課題に取り組む。これは、その持続時間が短く、強度が低いことが要因である。
• LBP-TOPを改善するため、複数の平面からの追加の空間的および時間的情報を統合する。
• マイクロエクスプレッションにおける頂点フレームの局所化を高める、より強固な特徴抽出器を開発する。
• 実世界の感情認識への適用可能性を検証するため、CASMEデータベースを用いて提案手法を評価する。

提案手法

• 本手法は、顔の動画シーケンスの3次元空間時間的ボリュームをスライスして形成される6つの交差平面から、局所的バイナリーパターン（LBP）コードを抽出する。
• 各交差平面は、異なる空間的および時間的変動の組み合わせを捉え、特徴の多様性と識別能を向上させる。
• 6つの平面から得られたLBPコードを連結し、マイクロエクスプレッションシーケンスを表す統一された特徴ベクトルを構成する。
• 得られた特徴ベクトルは、頂点フレーム検出の分類モデルへの入力として使用される。
• 本手法は、空間時間的ボリュームの幾何的構造を活用することで、従来のLBP-TOPよりも局所的なテクスチャパターンをより効果的に抽出する。
• 本手法は、マイクロエクスプレッションにおける微細な顔の変化に高い感受性を示すとともに、計算効率が高く設計されている。

実験結果

リサーチクエスチョン

• RQ1 複数の交差平面に基づく特徴抽出手法は、LBP-TOPと比較してマイクロエクスプレッションの頂点フレーム検出精度を向上させることができるか？
• RQ2 6つの異なる空間時間的平面を組み込むことで、マイクロエクスプレッションにおける微細な顔のダイナミクスの表現が向上するか？
• RQ3 提案手法LBP-SIPlは、CASMEデータベース上でどの程度の頂点フレーム検出率を達成できるか？
• RQ4 LBP-SIPlと既存手法との間で、頂点フレーム局所化の平均絶対誤差はどのように比較されるか？
• RQ5 提案手法は、手動による介入なしに自動的に頂点フレームを特定できるか？

主な発見

• 提案されたLBP-SIPl手法は、CASMEデータベース上で43%の自動頂点フレーム検出率を達成し、実世界応用における有効性を示した。
• 平均絶対誤差を1.76フレームにまで低減し、頂点フレーム局所化の高精度を示した。
• LBP-SIPlは、特に微細で迅速な顔の変化を検出する点で、既存手法を上回った。
• 6つの交差平面を用いることで、LBP-TOPが3つの直交平面のみを用いるのと比較して、特徴表現が顕著に向上した。
• 結果から、多平面LBP抽出がマイクロエクスプレッション解析における識別力の向上に寄与することが確認された。
• 本手法は、時間的精度が求められる自動感情認識システムへの応用において、強く有望な可能性を示している。