[論文レビュー] ExprGAN: Facial Expression Editing with Controllable Expression Intensity

Hui Ding, Kumar Sricharan+1 more|arXiv (Cornell University)|Sep 12, 2017

Face recognition and analysis被引用数 82

ひとこと要約

ExprGANは、連続的に制御可能な強度でターゲット表情へ顔を編集し、写真のように自然な結果とアイデンティティと表情表現の分離表現を生み出します。さらに、表情転送と表情認識のデータ拡張にも対応します。

ABSTRACT

Facial expression editing is a challenging task as it needs a high-level semantic understanding of the input face image. In conventional methods, either paired training data is required or the synthetic face resolution is low. Moreover, only the categories of facial expression can be changed. To address these limitations, we propose an Expression Generative Adversarial Network (ExprGAN) for photo-realistic facial expression editing with controllable expression intensity. An expression controller module is specially designed to learn an expressive and compact expression code in addition to the encoder-decoder network. This novel architecture enables the expression intensity to be continuously adjusted from low to high. We further show that our ExprGAN can be applied for other tasks, such as expression transfer, image retrieval, and data augmentation for training improved face expression recognition models. To tackle the small size of the training database, an effective incremental learning scheme is proposed. Quantitative and qualitative evaluations on the widely used Oulu-CASIA dataset demonstrate the effectiveness of ExprGAN.

研究の動機と目的

• 制限された表情カテゴリやペアデータに依存せず、表情編集を促進する。
• 連続的で制御可能な表情コードを生成する表情コントローラを備えたエンコーダ–デコーダGANを開発する。
• 表情転送や検索など多様な応用のために、アイデンティティと表情表現の表現を分離する。
• 二重識別子と知覚損失でリアリズムを高め、限られたデータセットには段階的な学習で対応する。

提案手法

• 入力顔をアイデンティティを保持する潜在コード g(x) にマッピングするエンコーダを使用する。
• 1-hot 表情ラベル y を連続的な表情コード c に変換する表情コントローラモジュール F_ctrl を導入する。
• 正則化子 Q を介して生成画像と表情コードの相互情報量を最大化し、c の各次元が異なる強度要因を捉えるように促す。
• g(x) と c に条件付けられた G_dec で画像を生成し、D_img でフォトリアリズムを、事前学習済みの顔モデルを用いた特徴損失 L_id でアイデンティティ保持を課す。
• D_z を用いて g(x) に潜在空間の先験分布を課し、アイデンティティ表現が多様性をカバーするようにする。
• ピクセル損失、アイデンティティ損失、Q 損失、敵対的損失、Total Variation 損失を含む複合目的関数 L_ExprGAN で、3 段階の段階的学習スケジュールを用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的な強度ラベルなしで、顔表情編集における連続的な表情強度を制御できるか？
• RQ2 アイデンティティを保持したまま表情編集や転送を実現するように、アイデンティティと表情を分離できるか？
• RQ3 高品質な画像合成と表情認識のためのデータ拡張において ExprGAN はどの程度効果的に機能するか？
• RQ4 各表情カテゴリ内で多様な表情スタイルを生成できるか？
• RQ5 小規模データセットで効果的な学習のために段階的学習が必要か？

主な発見

合成画像数	精度（％）
0	77.78
3K	78.47
6K	81.94
30K	84.72
60K	84.72

• ExprGAN は、トレーニングデータに含まれていない中立表情を含む、連続的に調整可能な強度レベルで複数の表情へ顔を編集できる。
• 新しい表情を適用してもアイデンティティを保持し、リアルな質感と繊細なディテールを実現する。
• 別のアイデンティティへの表情転送も実現可能で、転送元のアイデンティティがターゲット表情で表れます。
• 生成画像はデータ拡張に利用でき、表情認識精度を向上させる（例：30K の合成画像で 84.72% まで改善）。
• アイデンティティ表現 g(x) は潜在空間でよく分離され、表情コード c によって特徴空間内の類似表情の検索が可能になる。