[論文レビュー] Objective Class-based Micro-Expression Recognition through Simultaneous Action Unit Detection and Feature Aggregation

Ling Zhou, Qirong Mao+1 more|arXiv (Cornell University)|Dec 24, 2020

Emotion and Mood Recognition参考文献 41被引用数 13

ひとこと要約

本論文は、グラフ畳み込みネットワーク（GCN）を用いて、同時に行動単位（AUs）を検出するとともに、AUレベルの特徴をマイクロエクスプレッションレベルの表現に統合する深層学習モデル、MER-auGCNを提案する。自己注意機構と統一的AU特徴学習のためのバランス損失関数を統合することで、目的のクラスベースのマイクロエクスプレッション認識（MER）において、MEGC 2018のHDEおよびCDEタスクで最先端の性能を達成し、CDEタスクで86.7%のWARおよび74.2%のWF1を達成した。

ABSTRACT

Micro-Expression Recognition (MER) is a challenging task as the subtle changes occur over different action regions of a face. Changes in facial action regions are formed as Action Units (AUs), and AUs in micro-expressions can be seen as the actors in cooperative group activities. In this paper, we propose a novel deep neural network model for objective class-based MER, which simultaneously detects AUs and aggregates AU-level features into micro-expression-level representation through Graph Convolutional Networks (GCN). Specifically, we propose two new strategies in our AU detection module for more effective AU feature learning: the attention mechanism and the balanced detection loss function. With those two strategies, features are learned for all the AUs in a unified model, eliminating the error-prune landmark detection process and tedious separate training for each AU. Moreover, our model incorporates a tailored objective class-based AU knowledge-graph, which facilitates the GCN to aggregate the AU-level features into a micro-expression-level feature representation. Extensive experiments on two tasks in MEGC 2018 show that our approach significantly outperforms the current state-of-the-arts in MER. Additionally, we also report our single model-based micro-expression AU detection results.

研究の動機と目的

• 自己報告のラベルにおける主観性と一貫性の欠如に起因する感情ベースのマイクロエクスプレッション認識の限界を是正すること。
• 顔のランドマーク検出の誤りを伴い、手間のかかるプロセスを回避するため、統一モデル内で直接AU特徴を学習すること。
• グラフベースのモデリングを用いて、局所的なAUレベル特徴をグローバルなマイクロエクスプレッションレベルの表現に統合することで、マイクロエクスプレッション認識の性能を向上させること。
• 分離した学習を回避するため、AU検出とMERを連合最適化することで、エンドツーエンドの学習を可能にすること。
• データベース間で一般化可能で、将来的により多くのAUsへの拡張を可能にする、スケーラブルな単一モデルソリューションを提供すること。

提案手法

• 分離されたAUモデルを不要にする、同時的な行動単位（AU）検出とマイクロエクスプレッション認識のための統一された深層ニューラルネットワークを導入する。
• AU検出モジュールに自己注意機構を採用し、AUs across に特徴を集中させることで、特徴学習を強化する。
• AU検出におけるクラスの不均衡を是正するため、バランス損失関数を適用し、希少AUと頻出AUの両方における一般化性能を向上させる。
• AUと目的のラベル（I–V）を結ぶ関係をエンコードした、目的のクラスベースのAU知識グラフを独自に構築する。
• 知識グラフを関係的事前知識として用い、グラフ畳み込みネットワーク（GCN）によりAUレベル特徴をグローバルなマイクロエクスプレッションレベルの表現に統合する。
• 動きのダイナミクスを強調するため、光学フロー入力（TV-L1）を処理し、アイデンティティバイアスを低減し、データベース間一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ランドマーク検出や個別のAUごとの学習に依存せずに、統一された深層学習モデルがマイクロエクスプレッション内での複数の行動単位（AUs）を効果的に検出できるか。
• RQ2 AU検出とマイクロエクスプレッション認識の連合学習は、逐次的または独立した学習と比較して、性能をどのように向上させるか。
• RQ3 AU関係の知識グラフを組み込むことで、目的のクラスベースのMERにおける特徴統合と認識精度はどの程度向上するか。
• RQ4 提案モデルは、異なるデータベース（例：CASME II と SAMM）間で一般化可能か。
• RQ5 AU検出とMER損失のエンドツーエンド最適化は、既存の最先端手法と比較して、AU検出性能をどのように向上させるか。

主な発見

• MER-auGCNは、MEGC 2018のHDEタスクで86.7%の加重平均リCALL（WAR）を達成し、すべての先行SOTA手法を上回った。
• CDEタスクでは、74.2%の加重F1（WF1）を達成し、新たなSOTA性能を樹立した。
• 光学フローに基づく手法[14]と比較して、WARが0.25ポイント向上し、連合AU検出とGCNベースの統合の優位性を示した。
• 7つのAUにおける平均F1スコアは59.16%を達成し、同じベンチマークでSTAPF（56.20%）を上回ったが、単一の統一モデルを用いたにもかかわらず。
• AU検出において、CASME II → SAMMのフォールドで優れたデータベース間一般化性能を示した。
• アブレーションスタディにより、自己注意機構とバランス損失関数の両方がAU特徴学習および全体的な性能向上に顕著な貢献をしたことが確認された。