[論文レビュー] Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network

Jie Cai, Zibo Meng+5 more|arXiv (Cornell University)|Mar 19, 2019

Emotion and Mood Recognition参考文献 41被引用数 38

ひとこと要約

本論文はIF-GANを提案する。これは表情情報を平均アイデンティティへ転送するEnd-to-Endの条件付きGANで、アイデンティティフリーの表情認識を可能にし、いくつかのFERデータセットで最先端の結果を達成する。

ABSTRACT

A novel Identity-Free conditional Generative Adversarial Network (IF-GAN) was proposed for Facial Expression Recognition (FER) to explicitly reduce high inter-subject variations caused by identity-related facial attributes, e.g., age, race, and gender. As part of an end-to-end system, a cGAN was designed to transform a given input facial expression image to an "average" identity face with the same expression as the input. Then, identity-free FER is possible since the generated images have the same synthetic "average" identity and differ only in their displayed expressions. Experiments on four facial expression datasets, one with spontaneous expressions, show that IF-GAN outperforms the baseline CNN and achieves state-of-the-art performance for FER.

研究の動機と目的

• FERにおける被験者間のアイデンティティ変動（年齢、人種、性別）を削減する動機付け。
• 表情情報を平均アイデンティティへ転送するエンドツーエンドのIF-GANを提案。
• RAF-DBを含む複数データセットでFER性能の改善を示す。

提案手法

• 入力画像から平均アイデンティティの顔へ表情を転送するU-Netベースのジェネレータを使用。
• 現実的で表情整合性のある出力を強制するPatchGAN判別器を採用。
• 識別性を高めるため島損失で訓練されたResNet-101表情分類器を組み込む。
• G、D、Eを、cGAN、L1、softmax、島損失項を組み合わせた損失で同時訓練。
• 評価時にはアイデンティティフリーFERのためにGとEのみを使用。

実験結果

リサーチクエスチョン

• RQ1 任意の被験者の表情を平均アイデンティティへ転送することでアイデンティティフリーFERシステムを構築できるか？
• RQ2 G、D、Eのエンドツーエンド訓練はベースラインCNNに比べFER性能を改善するか？
• RQ3 ジェネレータ内の自己注意が姿勢・照明変動下での表情転送と認識にどう影響するか？
• RQ4 提案されたIF-GANは自然発生とポーズ付きFERデータセットの両方で有効か？

主な発見

• 自己注意を用いたIF-GANはRAF-DBを含む4つのFERデータセットで最先端の結果を達成。
• このアーキテクチャはエンドツーエンド訓練可能で、認識に適した表情フリーな顔表現を生み出す。
• 表情転送は表情の手掛かりを保持しつつアイデンティティ情報を効果的に除去する。
• 自己注意モジュールは顔の動作単位に沿った長距離依存を捉え、表情の忠実度を向上させる。
• ベースラインCNNと比較して、IF-GANはポーズ付きおよび自然発生データセットのFER性能が向上。