[論文レビュー] Spontaneous Facial Micro-Expression Recognition using Discriminative Spatiotemporal Local Binary Pattern with an Improved Integral Projection

Xiaohua Huang, Sujing Wang+4 more|arXiv (Cornell University)|Aug 7, 2016

Face and Expression Recognition参考文献 9被引用数 19

ひとこと要約

本稿では、改良された積分投影を用いて顔の形状を保持し、空間的・時間的次元で局所的バイナリーパターン演算子を適用することで、テクスチャおよび形状特徴抽出を強化する、新たな手法である判別的時空間的局所的バイナリーパターンと改良された積分投影（DiSTLBP-IIP）を提案する。さらに、ラプラシアンに基づく特徴選択を用いて判別力を向上させ、CASME、CASME2、SMICデータベースにおいて最先端の性能を達成し、認識率は最高で64.78%に達した。

ABSTRACT

Recently, there are increasing interests in inferring mirco-expression from facial image sequences. Due to subtle facial movement of micro-expressions, feature extraction has become an important and critical issue for spontaneous facial micro-expression recognition. Recent works usually used spatiotemporal local binary pattern for micro-expression analysis. However, the commonly used spatiotemporal local binary pattern considers dynamic texture information to represent face images while misses the shape attribute of face images. On the other hand, their works extracted the spatiotemporal features from the global face regions, which ignore the discriminative information between two micro-expression classes. The above-mentioned problems seriously limit the application of spatiotemporal local binary pattern on micro-expression recognition. In this paper, we propose a discriminative spatiotemporal local binary pattern based on an improved integral projection to resolve the problems of spatiotemporal local binary pattern for micro-expression recognition. Firstly, we develop an improved integral projection for preserving the shape attribute of micro-expressions. Furthermore, an improved integral projection is incorporated with local binary pattern operators across spatial and temporal domains. Specifically, we extract the novel spatiotemporal features incorporating shape attributes into spatiotemporal texture features. For increasing the discrimination of micro-expressions, we propose a new feature selection based on Laplacian method to extract the discriminative information for facial micro-expression recognition. Intensive experiments are conducted on three availably published micro-expression databases. We compare our method with the state-of-the-art algorithms. Experimental results demonstrate that our proposed method achieves promising performance for micro-expression recognition.

研究の動機と目的

• 従来の時空間的LBPが微表情の顔の形状属性と判別情報の両方を十分に捉えられていないという限界を是正すること。
• 改良された積分投影法を用いて形状とテクスチャ特徴を統合することで、微表情認識の性能を向上させること。
• ラプラシアン手法に基づく特徴選択戦略を構築し、微表情分類におけるクラス分離性を向上させること。
• 特に微表情が微細かつ一時的であるCASME2およびSMICのような、自発的微表情データベースにおいて、最先端の性能を達成すること。

提案手法

• 微表情の幾何的形状を保持するため、改良された積分投影が導入され、空間的構造表現が向上する。
• 空間的および時間的次元において、水平および垂直の積分投影に局所的バイナリーパターン（LBP）演算子を適用し、時空間的テクスチャ特徴を抽出する。
• 形状に配慮した投影とLBPを組み合わせることで、外観と運動ダイナミクスの両方を捉える新しい特徴記述子、STLBP-IIPを生成する。
• ラプラシアンに基づく特徴選択法を適用し、STLBP-IIP表現から最も判別的な特徴を特定・保持する。
• 3つの公開微表情データベース（CASME、CASME2、SMIC）を用いたマルチクラス分類設定で、フレームワークを評価する。
• 分類には線形カーネルを用いたSVMを用い、認識性能は1人ずつを検証対象として外す（LOSO）交差検証により検証された。

実験結果

リサーチクエスチョン

• RQ1 改良された積分投影法は、より良い特徴表現を得るため、自発的微表情の形状属性を効果的に保持できるか？
• RQ2 形状に配慮した投影と時空間的LBPを組み合わせることで、標準的なLBP-TOPに比べて微表情特徴の判別力が向上するか？
• RQ3 ラプラシアンに基づく特徴選択は、微表情解析における最も判別的な特徴サブセットに焦点を当てることで、認識精度を向上させられるか？
• RQ4 提案手法DiSTLBP-IIPは、ベンチマーク用微表情データベースにおいて、最先端の手法と比較して認識精度および頑健性の面で優れているか？

主な発見

• CASME2データベースでは、DiSTLBP-IIPが64.78%の認識精度を達成し、次に優れた手法（STCLQP）より6.39ポイント高い性能を示した。
• SMICデータベースでは、DiSTLBP-IIPが63.41%の精度を達成し、LBP-TOP（42.07%）およびLOCP-TOP（43.90%）を著しく上回り、LOCP-TOPに比べ16.47%の改善を示した。
• 混同行列の分析から、DiSTLBP-IIPは「驚き」が「その他」と誤分類される頻度を低減しており、ベースライン手法に比べてより良いクラス分離性を示した。
• STLBP-IIPはSMICで60.37%の精度を達成し、標準的なLBP-TOPおよびLOCP-TOPよりも性能が向上していることが確認された。
• ラプラシアンに基づく特徴選択は、判別能力の向上に効果的に寄与し、すべてのデータベースにおいてDiSTLBP-IIPの性能向上に貢献した。
• 本手法は、CASME、CASME2、SMICの3つのデータベースすべてにおいて一貫した優位性を示し、自発的微表情認識における頑健性と一般化能力を確認した。