[論文レビュー] Enriched Long-term Recurrent Convolutional Network for Facial Micro-Expression Recognition

Huai-Qian Khor, John See+2 more|arXiv (Cornell University)|May 22, 2018

Emotion and Mood Recognition参考文献 15被引用数 17

ひとこと要約

本稿では、CNNに基づく空間的特徴抽出とLSTMに基づく時系列モデリングを組み合わせることで、顔面の微表情認識を目的とした拡張された長期再帰的畳み込みネットワーク（ELRCN）を提案する。フレームワークは2つのバリエーションを採用する—空間的強化のためのチャネル別入力スタッキングと、時系列的強化のための特徴別スタッキング—データ拡張を用いない状態で優れた性能を達成しており、Grad-CAMの可視化により、行動単位（AU）に関連する顔面領域に注目していることが確認された。

ABSTRACT

Facial micro-expression (ME) recognition has posed a huge challenge to researchers for its subtlety in motion and limited databases. Recently, handcrafted techniques have achieved superior performance in micro-expression recognition but at the cost of domain specificity and cumbersome parametric tunings. In this paper, we propose an Enriched Long-term Recurrent Convolutional Network (ELRCN) that first encodes each micro-expression frame into a feature vector through CNN module(s), then predicts the micro-expression by passing the feature vector through a Long Short-term Memory (LSTM) module. The framework contains two different network variants: (1) Channel-wise stacking of input data for spatial enrichment, (2) Feature-wise stacking of features for temporal enrichment. We demonstrate that the proposed approach is able to achieve reasonably good performance, without data augmentation. In addition, we also present ablation studies conducted on the framework and visualizations of what CNN "sees" when predicting the micro-expression classes.

研究の動機と目的

• 微表情が低視認性で訓練データが限られていることによる、微細で短時間の顔面微表情を認識する課題に対処する。
• ドメイン固有のチューニングを要するため汎用性に欠ける手作業特徴抽出の限界を克服する。
• エンドツーエンド学習を用いて、微表情における空間的・時系列的ダイナミクスを効果的に捉える深層学習フレームワークを開発する。
• 異なる特徴表現（原始ピクセル対オプティカルフロー）とネットワークアーキテクチャの認識性能への影響を調査する。
• Grad-CAMを用いてモデル予測の可視的解釈性を提供し、行動単位（AU）に関連する顔面領域への注目が妥当であることを検証する。

提案手法

• 各微表情フレームから深層空間的特徴を抽出するために、事前学習済みのVGG-16 CNNを用い、最後の全結合層および2番目に最後の全結合層の特徴マップをテストする。
• 抽出された空間的特徴を、フレーム間の時系列的依存関係をモデル化するための長期短期記憶（LSTM）ネットワークに通す。
• 2つのネットワークバリエーションを実装する：(1) 入力データのチャネル別スタッキングによる空間的強化、(2) CNN埋め込み特徴の特徴別スタッキングによる時系列的強化。
• 動きの感度を向上させるために、原始ピクセル強度の代わりにオプティカルフローを入力として採用し、微表情における微細な顔面ダイナミクスの区別を向上させる。
• 分類意思決定に最も寄与する顔面領域を可視化するため、最後の畳み込み層に対して勾配重み付きクラス活性化マッピング（Grad-CAM）を適用する。
• アブレーションスタディを実施し、異なるLSTMアーキテクチャ（単一層対2層）、特徴抽出層、入力モodal（ピクセル対フロー）を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのアプローチは、広範なハイパーパrameterチューニングを要せず、手作業特徴を上回る性能を発揮できるか？
• RQ2 入力モダリティの選択（原始ピクセル対オプティカルフロー）が、微表情タスクにおける認識性能にどのように影響するか？
• RQ3 入力チャネルスタッキングによる空間的強化か、特徴スタッキングによる時系列的強化のどちらが、単一データベースおよびクロスデータベース評価においてより優れた性能を発揮するか？
• RQ4 Grad-CAMの可視化によって、モデルの予測が専門家がアノテートした行動単位（AU）とどの程度一致するか？
• RQ5 深層特徴を用いた微表情認識において、LSTMコンponentの最適な設定（例：層数、ユニット数）は何か？

主な発見

• 時系列的強化（TE）を施したELRCNが、単一データベース評価において空間的強化（SE）バージョンを上回り、より高い認識精度を達成した。
• 空間的強化（SE）バージョンはクロスデータベース設定においてより優れた一般化性能を示し、ドメイン転送能力が向上していることが示された。
• オプティカルフロー特徴は、原始ピクセル強度よりも一貫して優れた性能を示し、微表情における微細な顔面運動への感受性が高まっていることを裏付けた。
• 深層CNN特徴を用いた場合、2層LSTMよりも単一層LSTMが優れた性能を示し、より深い再帰構造が性能向上に寄与しない可能性があり、計算コストが増加することを示唆した。
• VGG-16の最後の全結合層（4096次元）からの特徴が、微表情分類において最も判別力のある表現を提供した。
• Grad-CAMの可視化により、モデルが行動単位（AU）に関連する顔面領域（例：口角挙上（AU12）、眉頭挙上（AU1））に注目していることが確認され、専門家のアノテーションと一致した。