[論文レビュー] Unconstrained Facial Expression Transfer using Style-based Generator

Chao Yang, Ser-Nam Lim|arXiv (Cornell University)|Dec 12, 2019

Face recognition and analysis参考文献 36被引用数 6

ひとこと要約

この論文では、事前学習済みのStyleGANから得られる階層的スタイルベクトルを活用して、顔の属性を分離するスタイルベースのGAN手法を提案する。2つの入力画像からのスタイルベクトルの線形結合を最適化することで、1つの顔の外見と別の顔の表情を組み合わせた高品質で現実的な顔画像を合成し、幾何的アノテーションや新しいアイデンティティの再訓練を必要とせずに最先端の結果を達成する。

ABSTRACT

Facial expression transfer and reenactment has been an important research problem given its applications in face editing, image manipulation, and fabricated videos generation. We present a novel method for image-based facial expression transfer, leveraging the recent style-based GAN shown to be very effective for creating realistic looking images. Given two face images, our method can create plausible results that combine the appearance of one image and the expression of the other. To achieve this, we first propose an optimization procedure based on StyleGAN to infer hierarchical style vector from an image that disentangle different attributes of the face. We further introduce a linear combination scheme that fuses the style vectors of the two given images and generate a new face that combines the expression and appearance of the inputs. Our method can create high-quality synthesis with accurate facial reenactment. Unlike many existing methods, we do not rely on geometry annotations, and can be applied to unconstrained facial images of any identities without the need for retraining, making it feasible to generate large-scale expression-transferred results.

研究の動機と目的

• ペaired学習データや幾何的アノテーションを必要とせず、非制約的顔画像間でのリアルな表情転送を実現する挑戦に取り組む。
• 再訓練を必要とせず、任意のアイデンティティ間での表情転送を可能にし、スケーラビリティと一般化性能を確保する。
• 2つの入力画像から得られる外見と表情を潜在空間最適化を用いて統合する、完全に自動的でエンドツーエンドのシステムを開発する。
• 3次元モデルやキーポoint追跡、アイデンティティ固有の学習に依存する従来の幾何ベースおよび学習ベースの手法の限界を克服する。
• ロバストなDeepFake検出モデルの学習に適した、大規模な表情転送画像を生成するスケーラブルなソリューションを提供する。

提案手法

• 事前学習済みのStyleGANを用いて、顔画像から最適化により階層的スタイルベクトルを推定し、複数の潜在層で表情、髪の色、ポーズなどの属性を分離する。
• 整数線形プログラミング（ILP）フレームワークを適用し、2つの入力画像からのスタイルベクトルの線形結合を最適化することで、ターゲットアイデンティティの外見とソースの表情を保持する。
• VGG-16の異なる層での特徴を用いた感知損失を用いてスタイルベクトル最適化をガイドし、層9が最良の再構成品質を示す。
• 層間でのスタイルベクトルスプライシングを実施し、属性の分離度を分析し、顔の表情変化に対して最も感受性が高いのは層4であることが判明。
• 最適化されたスタイルベクトルをStyleGANジェネレータに供給することで最終的な画像を生成し、明示的な形状やテクスチャモデリングを必要とせずに現実的な顔の再現が可能になる。
• エンドツーエンドの推論が完全に自動的であり、顔の極端なポーズや遮蔽がある画像を含め、モデルのファインチューニングなしに任意の顔画像に適用可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのStyleGANから得られる階層的スタイルベクトルは、表情、外見、ポーズといった顔の属性を効果的に分離できるか？
• RQ2 2つの異なる顔画像からのスタイルベクトルをどのように最適に組み合わせれば、アイデンティティの外見を保持しつつ表情を転送できるか？
• RQ3 潜在空間最適化アプローチは、幾何的アノテーションやアイデンティティ固有の学習を一切不要として、高精細な顔の再現をどの程度達成できるか？
• RQ4 スタイルベクトル推定における異なる感知損失層の影響は、再構成画像の品質と一貫性にどのような影響を及えるか？
• RQ5 本手法は、遮蔽や困難な照明を伴う実世界の非制約的顔画像に対しても、どの程度一般化できるか？

主な発見

• 幾何ベースおよび学習ベースのベースラインと比較して、顔の表情転送において優れた視覚的品質を達成しており、人間が認識する際の現実性と一貫性が向上している。
• VGG-16の層9を感知損失層として使用すると、アーチファクトを最小限に抑え、顔の詳細を良好に保持する最高の再構成品質が得られる。
• スタイルベクトルの層4が顔の表情変化に対して最も感受性が高く、ソース画像からターゲット画像に切り替えることで正確な表情転送が実現している。
• 本手法は、ウェブスクラップされた顔や極端なポーズを伴う画像を含め、多様なアイデンティティや非制約的画像間での表情転送に成功しており、再訓練を必要としない。
• 失敗事例は主に重度の遮蔽や強い影に起因し、モデルが完全な顔の構造や自然な照明を再構築できていない場合に発生する。
• 本システムは、大規模な表情転送画像の生成が可能であり、ロバストなDeepFake検出モデルの学習に応用可能なことを示している。