[論文レビュー] StyleRig: Rigging StyleGAN for 3D Control over Portrait Images

Ayush Tewari, Mohamed Elgharib+6 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 2被引用数 6

ひとこと要約

StyleRigは、自己教師付き手法を用いて、事前学習済みのStyleGANジェネレータに対して3D顔ラインクスのような制御を可能にする。3D顔可塑モデル（3DMM）パラメータからStyleGANの潜在空間へのマッピングを学習するための新規ネットワークRigNetを導入し、微調整や手動アノテーションを一切不要とする。本手法により、ポーズ、表情、照明、アイデンティティの明示的かつ分離可能な制御が可能となり、写真のようにリアルなポートレート生成が実現される。

ABSTRACT

StyleGAN generates photorealistic portrait images of faces with eyes, teeth, hair and context (neck, shoulders, background), but lacks a rig-like control over semantic face parameters that are interpretable in 3D, such as face pose, expressions, and scene illumination. Three-dimensional morphable face models (3DMMs) on the other hand offer control over the semantic parameters, but lack photorealism when rendered and only model the face interior, not other parts of a portrait image (hair, mouth interior, background). We present the first method to provide a face rig-like control over a pretrained and fixed StyleGAN via a 3DMM. A new rigging network, RigNet is trained between the 3DMM's semantic parameters and StyleGAN's input. The network is trained in a self-supervised manner, without the need for manual annotations. At test time, our method generates portrait images with the photorealism of StyleGAN and provides explicit control over the 3D semantic parameters of the face.

研究の動機と目的

• StyleGANは写真的リアリズムのポートレートを生成するが、顔の意味的パラメータ（ポーズ、表情、照明、アイデンティティ）に対するラインクスのような操作ができないという、解釈可能な3D対応制御の欠如に対処する。
• 3DMMは意味的制御を提供するが、写真的リアリズムに欠け、髪や背景などの顔以外の領域をモデル化できないという限界を克服する。
• ジェネレータの微調整なしに、ポーズ、表情、照明、アイデンティティといった3D顔パラメータの細分化された制御を、StyleGAN生成画像に対して可能にする。
• 手動アノテーションを避ける自己教師付き学習フレームワークを構築し、サイクル整合性と微分可能なレンダリングを活用して高精細な画像生成を実現する。

提案手法

• 固定された事前学習済みのStyleGANの潜在空間へ、3DMMの意味的パラメータ（アイデンティティ、ポーズ、表情、照明など）をマッピングする新しいネットワークRigNetを訓練する。
• 3DMM空間と潜在空間の両方向での編集が一貫性を持つように、自己教師付きの二方向サイクル整合性損失を用いる。
• 写真的再構成誤差を画像ドメインで計算可能とするために、微分可能なレンダラーと顔再構成ネットワークを統合し、エンドツーエンドの訓練を可能にする。
• あるパラメータ（例：ポーズ）の変更が、関係のないパラメータ（例：アイデンティティや照明）に誤って影響を与えないように、サイクル整合性の目的関数を導入する。
• 画像品質の維持（再構成損失）、意味的整合性の維持（整合性損失）、制御の可能化（編集損失）を組み合わせてRigNetを訓練する。
• 最適化中に個々のパラメータ編集をサンプリング・トレーニングすることで、1つのネットワークで複数のパラメータ（例：ポーズ、表情、照明）を同時に制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのStyleGANジェネレータに対して、微調整や手動アノテーションを一切行わずに、意味的で3D対応の制御を実現できるか？
• RQ2 自己教師付き手法が、3DMMパラメータをStyleGANの潜在空間へ効果的にマッピングできるか。また、写真的リアリズムを維持しながら意味的属性を分離可能か？
• RQ3 複数の3D顔パラメータ（ポーズ、表情、照明）を同時に編集する際、アイデンティティやシーンの整合性をどれほど保てるか？
• RQ4 明示的な3Dパラメータ制御により、StyleGANの潜在空間における属性の混合（エンタングルメント）をどの程度克服できるか？
• RQ5 本手法の限界として、髪や背景、口内側といった顔以外の画像部品の制御はどの程度困難か？

主な発見

• StyleRigは、3DMMパラメータを用いて、StyleGAN生成ポートレートに対してインタラクティブでラインクスのような制御を可能にし、写真的リアリズムを実現する高品質な編集を達成した。
• 本手法は、直接的な潜在ベクトルの操作や修正された損失関数を用いるベースライン手法を上回る、意味的編集分野における最先端の性能を達成した。
• サイクル整合性損失により、編集中にアイデンティティやシーンパラメータが意図せず変化するのを防ぎ、編集の正確性が著しく向上した。
• ポーズ、表情、照明の同時制御が成功裏に実装され、編集の過程でもアイデンティティが保持された。
• アイデンティティやシーンの変化に強く、クロスドメイン編集の例でも、ソース画像からターゲット画像へパラメータを転送する能力を示した。
• 高い性能を発揮する一方で、3DMMがモデル化しない髪や背景の細部は制御できず、編集時に予測不能に変化するという限界が残っている。