[論文レビュー] Learning Disentangled Expression Representations from Facial Images

Marah Halawa, Manuel Wöllhaf+3 more|arXiv (Cornell University)|Aug 16, 2020

Face recognition and analysis参考文献 26被引用数 6

ひとこと要約

本論文は、顔のアイデンティティーやポーズなどの要因から表現固有の特徴を分離することで、屋外で撮影された画像から分離可能な顔の感情表現表現を学習する、エンコーダー基盤の敵対的手法を提案する。共有エンコーダーに二つのブランチを設け、敵対的訓練を実施することで、追加データやアテンション機構を用いずにAffectNetで60.53%の精度を達成。これは先行SOTAを上回る結果である。

ABSTRACT

Face images are subject to many different factors of variation, especially in unconstrained in-the-wild scenarios. For most tasks involving such images, e.g. expression recognition from video streams, having enough labeled data is prohibitively expensive. One common strategy to tackle such a problem is to learn disentangled representations for the different factors of variation of the observed data using adversarial learning. In this paper, we use a formulation of the adversarial loss to learn disentangled representations for face images. The used model facilitates learning on single-task datasets and improves the state-of-the-art in expression recognition with an accuracy of60.53%on the AffectNetdataset, without using any additional data.

研究の動機と目的

• ラベル付きデータが限られる非制約的、屋外環境における顔の感情認識の課題に対処する。
• アイデンティティ、ポーズ、顔貌特徴などの混同要因から表現表現を分離することで、モデルの一般化性能を向上させる。
• 追加データセットやアテンション機構に依存せずに最先端の性能を達成する手法を開発する。
• 敵対的損失を用いて非表現表現に含まれる表現情報の抑制を図ることで、堅牢な分離を実現する。
• CASIAのような未学習のデータセットへのゼロショット転送の観点から、学習済み表現の品質を検証する。

提案手法

• 共通のエンコーダー（En_base）に続いて、表現特徴用（B_exp）と非表現特徴用（B_non-exp）の二つの専用ブランチを設ける。
• 表現ラベルを用いたクロスエントロピー損失により、B_expブランチを教師あり学習で最適化し、判別可能な表現表現を学習する。
• 非表現特徴ブランチ（B_non-exp）に対して敵対的損失（L_adv）を適用し、識別器（C_adv_exp）が非表現コードから表現を分類しようとするようにする。
• 非表現ブランチを最適化して識別器をだますことで、表現情報が含まれない表現を学習する。
• 元の入力画像を再構成できるように、コード特徴ベクトル（code_exp ⊕ code_non-exp）の組み合わせに再構成損失（L_r）を適用する。
• ハイパーパramータ β1 を用いて再構成損失の影響を制御し、アブレーションにより再構成損失が分離性能に悪影響を及えることが示された。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、非制約的顔画像における表現の変動要因（アイデンティティ、ポーズなど）から顔の感情表現を効果的に分離できるか？
• RQ2 再構成損失を削除することで、分離性能および下流の感情認識精度が向上するか？
• RQ3 アイデンティティに依存しない表現類似性を保つ分離表現を学習することで、未学習のデータセットへの一般化が可能か？
• RQ4 アテンション機構やマルチデータセット事前学習を用いる先行SOTA手法と比較して、本手法はどのように差をつけるか？
• RQ5 対称的な敵対的損失戦略を用いることで、アイデンティティと表現表現はどの程度分離可能か？

主な発見

• 提案手法はAffectNetデータセットで60.53%のテスト精度を達成し、追加データやアテンション機構を一切使用しないにもかかわらず、以前のSOTA（58.78%）を上回った。
• アブレーションスタディの結果、再構成損失（β1 > 0）が分離性能を損なうことが判明。C_adv_expの精度がβ1=0.001で53%に上昇し、表現特徴の分離性能が低下した。
• β1 = 0 の場合、モデルは最良の分離性能を示し、C_adv_expの精度が16%に低下した。これは非表現コードが表現情報を効果的に隠蔽していることを示している。
• CASIAデータセットにおけるコサイン類似度分析から、同じ表情の画像はアイデンティティにかかわらず類似した表現を持つことが確認され、分離品質が妥当であることが裏付けられた。
• CK+における定性的な結果では、表現の交換により画像合成に成功。表現またはアイデンティティの表現を交換することで、アイデンティティまたは表情に一貫性を持つ自然な画像が得られた。
• 本手法は、D2AEのような従来の手法とは異なり、デコーダーを必要とせず、アーキテクチャを単純化しつつも性能を維持できることを示した。