[論文レビュー] Facial Action Unit Detection and Intensity Estimation from Self-supervised Representation

Bowen Ma, An RuDong+7 more|arXiv (Cornell University)|Oct 28, 2022

Emotion and Mood Recognition被引用数 6

ひとこと要約

この論文では、アノテーションのない大規模な顔画像を用いてマスク化自己符号化（MAE）により事前学習する自己教師あり顔表徴モデル、MAE-Faceを提案する。AUデータセットでMAE-Faceを微調整することで、顔の行動単位（AU）検出および強度推定の両面で最先端の性能を達成しており、学習データの1%のみを用いても同様の結果を示し、データ不足に対する強力な汎化性と耐性を示している。

ABSTRACT

As a fine-grained and local expression behavior measurement, facial action unit (FAU) analysis (e.g., detection and intensity estimation) has been documented for its time-consuming, labor-intensive, and error-prone annotation. Thus a long-standing challenge of FAU analysis arises from the data scarcity of manual annotations, limiting the generalization ability of trained models to a large extent. Amounts of previous works have made efforts to alleviate this issue via semi/weakly supervised methods and extra auxiliary information. However, these methods still require domain knowledge and have not yet avoided the high dependency on data annotation. This paper introduces a robust facial representation model MAE-Face for AU analysis. Using masked autoencoding as the self-supervised pre-training approach, MAE-Face first learns a high-capacity model from a feasible collection of face images without additional data annotations. Then after being fine-tuned on AU datasets, MAE-Face exhibits convincing performance for both AU detection and AU intensity estimation, achieving a new state-of-the-art on nearly all the evaluation results. Further investigation shows that MAE-Face achieves decent performance even when fine-tuned on only 1\% of the AU training set, strongly proving its robustness and generalization performance.

研究の動機と目的

• 顔の行動単位（AU）解析におけるデータ不足とアノテーションの負担を軽減すること。これは時間のかかる作業であり、分野の専門知識を要する。
• 高価で専門家によるアノテーションが施されたAUデータセットへの依存を減らすために、自己教師あり表徴学習を活用すること。
• AU関連のタスクに特化した、強力で汎化性の高い顔表徴モデルを開発すること。
• 複数のベンチマークデータセットを用いて、自己教師あり事前学習がAU検出および強度推定の両タスクに与える有効性を評価すること。
• 極端なデータ不足、例えば学習セットの1%での微調整においてもモデルの性能がどうなるかを調査すること。

提案手法

• アノテーションのない顔画像の大量コレクションを用いて、ビジョントランスフォーマーに基づくモデルをマスク化自己符号化（MAE）で事前学習する。
• 画像のパッチに対して高比率のマスクを適用し、トランスフォーマーに基づく自己符号化器を用いて元のピクセルを再構築する。
• 事前学習中にピクセル再構築にL1損失を用いる。L2損失よりも顔の表情の詳細回復が優れていることが示されている。
• 事前学習中にパッチ単位の正規化を適用し、訓練の安定性と表徴の質を向上させる。
• 標準的な教師あり学習を用いて、事前学習済みのMAE-FaceモデルをAU検出および強度推定タスクに微調整する。
• 最適な下流AUベンチマークでの性能を最大化するため、慎重な初期学習率スケジューリングを微調整プロセスに適用する。

Figure 1: Reconstructed samples of our pre-trained MAE-Face on BP4D images. We show the 90% masked image (left), our reconstruction (middle), and the original image (right). We observe that MAE-Face can reconstruct missing expression details corresponding to action units.

実験結果

リサーチクエスチョン

• RQ1 アノテーション付きのAUデータに依存せずに、自己教師あり事前学習された顔表徴モデルが、顔の行動単位（AU）検出および強度推定で最先端の性能を達成できるか？
• RQ2 学習データの非常に小さなサブセット（例：1%のサンプル）で微調整した場合、MAE-Faceはどの程度の汎化性能を示すか？
• RQ3 事前学習中にL1損失を使用することで、L2損失に比べて顔の表情再構築および下流タスクの性能が向上するか？
• RQ4 一般画像データセット（例：ImageNet-1k）での事前学習と比較して、専用の顔画像コレクションでの事前学習は、AU解析タスクにおいてどのように異なるか？
• RQ5 推論時に顔のアライメントを施さない場合、MAE-Faceの性能にどのような影響があるか。また、顔のアライメントなしでも汎化可能か？

主な発見

• MAE-Faceは、BP4D、BP4D+、DISFAの3つのベンチマークデータセットにおいて、両方のタスク（AU検出および強度推定）で新たな最先端性能を達成した。
• 学習データの1%でのみ微調整した場合でも、MAE-Faceは劣化を最小限に抑え、非常に優れたデータ効率性と汎化性を示した。
• 事前学習中にL1損失を使用することで、特に口元周辺の顔の表情再構築が、L2損失に比べてより正確になった。
• パッチ単位の正規化を事前学習中に適用することで、性能がさらに向上した。これは、訓練の安定化と表徴品質の向上に寄与していることを確認した。
• MAE-Faceは、事前学習なしで学習を開始する方法やImageNet-1kでの事前学習よりも顕著に優れており、顔画像に特化したドメイン特化型事前学習の利点を裏付けた。
• 顔のアライメントなし、または詳細なハイパーパramータチューニングなしでも、MAE-Faceは大多数の評価指標で従来の最先端手法を上回った。

Figure 2: The schematic pipeline of the proposed framework. It consists of two stages: the Pre-training Stage and the Fine-tuning Stage. The model learns facial representations from self-supervised pre-training for facial action unit detection and intensity estimation.