[論文レビュー] Meta-Auxiliary Learning for Micro-Expression Recognition

Jingyao Wang, Yunhan Tian+4 more|arXiv (Cornell University)|Apr 18, 2024

Speech Recognition and Synthesis被引用数 5

ひとこと要約

LightmanNetは、ミクロ表情認識をガイドする補助的な画像整列タスクを用いたデュアルブランチのメタ補助学習フレームワークを導入し、限定データからの迅速な適応と一般化の向上を可能にします。

ABSTRACT

Micro-expressions (MEs) are involuntary movements revealing people's hidden feelings, which has attracted numerous interests for its objectivity in emotion detection. However, despite its wide applications in various scenarios, micro-expression recognition (MER) remains a challenging problem in real life due to three reasons, including (i) data-level: lack of data and imbalanced classes, (ii) feature-level: subtle, rapid changing, and complex features of MEs, and (iii) decision-making-level: impact of individual differences. To address these issues, we propose a dual-branch meta-auxiliary learning method, called LightmanNet, for fast and robust micro-expression recognition. Specifically, LightmanNet learns general MER knowledge from limited data through a dual-branch bi-level optimization process: (i) In the first level, it obtains task-specific MER knowledge by learning in two branches, where the first branch is for learning MER features via primary MER tasks, while the other branch is for guiding the model obtain discriminative features via auxiliary tasks, i.e., image alignment between micro-expressions and macro-expressions since their resemblance in both spatial and temporal behavioral patterns. The two branches of learning jointly constrain the model of learning meaningful task-specific MER knowledge while avoiding learning noise or superficial connections between MEs and emotions that may damage its generalization ability. (ii) In the second level, LightmanNet further refines the learned task-specific knowledge, improving model generalization and efficiency. Extensive experiments on various benchmark datasets demonstrate the superior robustness and efficiency of LightmanNet.

研究の動機と目的

• ミクロ表現認識（MER）におけるデータ不足とクラス不均衡に対処する。
• ノイズや表面的な相関を避けつつ、微妙で迅速なME特徴を捉える。
• 補助タスクを活用して、より判別力のあるMER表現へ学習を導く。
• タスク固有と一般的なMER知識の両方を抽出するための二階層最適化フレームワークを導入する。
• 複数のMERベンチマークで頑健性と効率を示す。

提案手法

• 2D CNNエンコーダを共有し、3D時系列エンコードモジュールを備えたデュアルブランチアーキテクチャ。
• メインブランチはクロスエントロピーロスでミクロ表情認識を学習。
• 補助ブランチは、Maximum Mean Discrepancy（MMD）で定量化されたミクロ表情とマクロ表情間の画像整列を実行。
• 補助タスク損失は、判別力のある幾何一貫性のある表現を目指して特徴学習を導く。
• 二階層最適化: 第一レベルは両方の損失を用いてタスク固有のMER知識を最適化；第二レベルはタスク間で知識を蒸留し、一般的 MER 知識を獲得する。

実験結果

リサーチクエスチョン

• RQ1 補助的な画像整列タスクは、限定データ下で判別力のあるMER特徴を改善できるか？
• RQ2 二階層メタ補助最適化は、データセット間でより良い一般化と効率をもたらすか？
• RQ3 LightmanNetは、他のメタ学習・MERベースラインと比較してfew-shot MER設定でどう機能するか？
• RQ4 補助タスクの誘導とバックボーン選択がMER性能に与える影響は？
• RQ5 提案された構成要素は、データ不足とクラス間差異に対する頑健性を向上させるか？

主な発見

Method	SAMM ACC	SAMM F1	SMIC ACC	SMIC F1	CASME ACC	CASME F1	CASME II ACC	CASME II F1	CAS(ME)² ACC	CAS(ME)² F1
LightmanNet	81.83 ± 0.44	82.93 ± 0.35	85.19 ± 0.34	83.83 ± 0.34	87.83 ± 0.60	89.78 ± 0.59	93.48 ± 0.42	90.49 ± 0.47	85.23 ± 0.26	82.22 ± 0.29

• LightmanNetは、標準設定とfew-shot設定の両方で、複数のMERベンチマークにおいて最先端または競合的な精度とF1を達成。
• few-shot MERにおいて、LightmanNetはMAML、Reptile、ANIL、ProtoNet、および他のメタ学習ベースライン、さらにはいくつかの深層MER手法を上回る。
• 補助的な画像整列タスク（MMDによりガイドされる）は、MER性能を損なうことなく、学習表現と一般化を改善する。
• 二階層最適化は、限られたデータで未知のMERタスクへの迅速適応を実現しつつ、モデル効率を維持する。
• 実験結果は、データ不足とクラス間のばらつきに対する頑健性を示し、多くのベースラインと比較して訓練時間とモデルサイズが有利である。