[論文レビュー] Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses

Rongliang Wu, Gongjie Zhang+2 more|arXiv (Cornell University)|Mar 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 10

ひとこと要約

本稿では、目の、鼻の、口の局所的注目を用いてアイデンティティの詳細を保持し、アーチファクトを低減する、プログレッシブな顔の表情編集フレームワークであるCascade EF-GANを提案する。大規模な表情ギャップ変換を、複数のEF-GANモジュールの級列により複数の小さなステップに分解することで、従来のGANベースの手法よりもより現実的でアーチファクトのない編集を実現する。

ABSTRACT

Recent advances in Generative Adversarial Nets (GANs) have shown remarkable improvements for facial expression editing. However, current methods are still prone to generate artifacts and blurs around expression-intensive regions, and often introduce undesired overlapping artifacts while handling large-gap expression transformations such as transformation from furious to laughing. To address these limitations, we propose Cascade Expression Focal GAN (Cascade EF-GAN), a novel network that performs progressive facial expression editing with local expression focuses. The introduction of the local focus enables the Cascade EF-GAN to better preserve identity-related features and details around eyes, noses and mouths, which further helps reduce artifacts and blurs within the generated facial images. In addition, an innovative cascade transformation strategy is designed by dividing a large facial expression transformation into multiple small ones in cascade, which helps suppress overlapping artifacts and produce more realistic editing while dealing with large-gap expression transformations. Extensive experiments over two publicly available facial expression datasets show that our proposed Cascade EF-GAN achieves superior performance for facial expression editing.

研究の動機と目的

• 特に目、鼻、口のような表情が豊富な領域で生じるアーチファクトやぼやけを解消すること。
• 1ステップのGANベースの手法で一般的に見られる、大きなギャップを有する表情変換（例：怒った顔から笑顔へ）における重複するアーチファクトを克服すること。
• 局所的注目メカニズムを用いてアイデンティティに関連する特徴を明示的にモデル化することで、アイデンティティの保持を向上させること。
• 複雑な表情変化を複数の小さな、管理可能な変換に分解するプログレッシブな編集戦略を開発すること。
• 局所的注目と級列設計の組み合わせにより、公開データセット上で顔の表情編集の最先端の性能を達成すること。

提案手法

• 各EF-GANモジュール内に、目、鼻、口の3つの局所的注目を導入し、アイデンティティ関連の特徴を捉え、高精細な編集をガイドする。
• 各EF-GAN内に、表現変換器（Expression Transformer）とリファイナ（Refiner）を設計し、グローバルおよびローカル領域の初期表情編集を生成および精錬する。
• 複数のEF-GANモジュールの級列を実装し、プログレッシブな表情編集を実現し、大規模なギャップ変換を段階的な小さなステップに分解する。
• リファイナと局所的注目との間で中間特徴を統合することで、詳細の保持を向上させ、ぼやけを低減する。
• FID評価には事前学習済みInceptionネットワークを適用し、PSNRを用いて合成された表情と正解との比較を行う。
• 事前学習をRaFDおよびCFEEDデータセットで実施した後、AffectNetで微調整することで、野生画像（wild images）への適応を図る。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティに重要な顔の領域（目、鼻、口）に対する局所的注目は、顔の表情編集におけるアーチファクトやぼやけを低減できるか？
• RQ2 級列アーキテクチャを用いて大規模な表情ギャップ変換を複数の小さなステップに分解することで、重複するアーチファクトが低減するか？
• RQ3 局所的注目とプログレッシブな編集の組み合わせが、アイデンティティの保持と視覚的リアリズムをどのように向上させるか？
• RQ4 提案手法は、複雑な背景や制御不能な照明条件を有する野生画像にも一般化可能か？
• RQ5 単一ステップのGANと比較して、級列設計は困難な表情編集タスクにおける性能をどの程度向上させるか？

主な発見

• RaFDデータセットでは、最先端の手法よりも1.01 PSNRおよび3.19 FIDの向上を達成し、CFEEDデータセットでは0.91 PSNRおよび1.92 FIDの向上を達成した。
• アブレーションスタディにより、局所的注目と級列設計の両方が不可欠であることが確認され、完全なモデルが最もシャープで、最も整合性のある表情を生成し、最小限のアーチファクトを発生させた。
• 視覚的結果から、ベースラインモデルは目や口の周辺で詳細を失うのに対し、局所的注目を備えたEF-GANはぼやけや汚損を顕著に低減している。
• 級列設計により、複数のステップに複雑さを分散させることで、大規模ギャップ変換における重複アーチファクトが効果的に抑制された。
• アクションユニットの補間と段階的適用により、連続的な表情編集が成功裏に実現され、自然な遷移が得られた。
• モデルは野生画像に対しても良好に一般化し、アイデンティティと背景の整合性を維持しながら、正確な表情の転送を実現した。