[論文レビュー] AU-Guided Unsupervised Domain Adaptive Facial Expression Recognition

Kai Wang, Yuxin Gu+4 more|arXiv (Cornell University)|Dec 18, 2020

Emotion and Mood Recognition参考文献 52被引用数 4

ひとこと要約

本稿では、顔の動き単位（AUs）を用いてデータセット間のアノテーションバイアスを低減するAU誘導型自己教師付きドメイン適応フレームワークAdaFERを提案する。AUに基づくソフトラベル割り当てとAU誘導型三重損失を活用することで、CK+で81.40%、ExpWで70.86%の精度を達成し、複数のベンチマークで最先端性能を実現した。

ABSTRACT

The domain diversities including inconsistent annotation and varied image collection conditions inevitably exist among different facial expression recognition (FER) datasets, which pose an evident challenge for adapting the FER model trained on one dataset to another one. Recent works mainly focus on domain-invariant deep feature learning with adversarial learning mechanism, ignoring the sibling facial action unit (AU) detection task which has obtained great progress. Considering AUs objectively determine facial expressions, this paper proposes an AU-guided unsupervised Domain Adaptive FER (AdaFER) framework to relieve the annotation bias between different FER datasets. In AdaFER, we first leverage an advanced model for AU detection on both source and target domain. Then, we compare the AU results to perform AU-guided annotating, i.e., target faces that own the same AUs with source faces would inherit the labels from source domain. Meanwhile, to achieve domain-invariant compact features, we utilize an AU-guided triplet training which randomly collects anchor-positive-negative triplets on both domains with AUs. We conduct extensive experiments on several popular benchmarks and show that AdaFER achieves state-of-the-art results on all these benchmarks.

研究の動機と目的

• 異なるデータセット間で一貫性のないアノテーションや画像収集条件の違いによって生じる顔の表情認識におけるドメインシフト問題に対処すること。
• 顔の動き単位（AUs）の客観的・低バイアス性を活用して、ソースおよびターゲットFERデータセット間のアノテーションバイアスを低減すること。
• トレーニングプロセスにAUベースの監視信号を統合することで、特徴の凝縮性とドメイン不変性を向上させること。
• 推論コストを増加させることなく、複数のクロスデータセットFERベンチマークで最先端性能を達成すること。

提案手法

• 事前学習済みのAU検出モデルを用いて、ソースおよびターゲットドメインの画像から動き単位コードを抽出する。
• 一致するAUコードを持つソースドメイン画像を検索することで、ターゲットドメイン画像にAU誘導型ラベルを割り当てる。
• 同じまたは異なるAUコードを持つ画像ペair（正例／負例）を用いて、AU誘導型三重サンプルを構築する。
• AU類似度に基づき、クラス内距離を最小化し、クラス間距離を最大化することで、特徴の凝縮性とドメイン不変性を促進する三重損失を用いてモデルを訓練する。
• 疑似ソフトラベルとAU誘導型三重損失を併用して、ソースで事前学習済みのFERモデルをターゲットドメインでファインチューニングする。
• 三重サンプル抽出のしきい値を最適化し、難易度とトレーニング安定性のバランスを取る。アブレーションにより、0.5が最適な性能を示した。

実験結果

リサーチクエスチョン

• RQ1 顔の動き単位（AUs）は、クロスドメイン顔の表情認識におけるアノテーションバイアスを軽減する信頼できる補助信号として機能するか？
• RQ2 ターゲットドメインに真のラベルが存在しない状況下で、AU誘導型ソフトラベル割り当ては一般化性能をどの程度向上させるか？
• RQ3 AU誘導型三重学習は、自己教師付きドメイン適応において特徴の凝縮性とドメイン不変性をどの程度向上させるか？
• RQ4 AUベースの監視信号の統合により、多様なFERベンチマークで最先端性能が達成されるか？

主な発見

• AdaFERは、クロスデータセット顔の表情認識において、CK+データセットで81.40%という新たな最先端精度を達成した。
• ExpWベンチマークでは70.86%の精度を達成し、先行手法を大きく上回り、新たなSOTAを樹立した。
• RAF-DBをソースとして用いた場合、全ターゲットデータセットの平均精度が8.94%向上した。
• T-SNEを用いた特徴可視化により、特にニュートラルな表情において、ベースラインよりもAdaFERがより凝縮され、明確に分離された特徴を学習していることが確認された。
• アブレーションスタディにより、三重サンプル抽出のしきい値を0.5に設定した場合が最適な性能を示し、サンプルの難易度とトレーニング安定性のバランスが取れていることが判明した。
• AdaFERは、推論時の特徴統合やノード初期化を必要とする手法とは異なり、推論コストを増加させることなく、これらの向上を達成した。