[論文レビュー] FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

Thomas Leimkühler, George Drettakis|HAL (Le Centre pour la Communication Scientifique Directe)|Sep 20, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

FreeStyleGAN は、GAN カメラ多様体と呼ばれる学習されたカメラポーズの部分空間を導入することで、正確な 3D カメラ制御を可能にし、自由視点で写真のようにリアルなポートレートレンダリングを実現する。数枚の普通の多視点画像を用いて、粗い 3D 形状を再構築し、カメラを多様体に投影し、最も近い多様体ビューから画像を歪めることで、インタラクティブな速度で新しい視点を合成する。同時に、アイデンティティ、表情、照明のためのスタイルGANの意味的編集機能を維持する。

ABSTRACT

Current Generative Adversarial Networks (GANs) produce photorealistic renderings of portrait images. Embedding real images into the latent space of such models enables high-level image editing. While recent methods provide considerable semantic control over the (re-)generated images, they can only generate a limited set of viewpoints and cannot explicitly control the camera. Such 3D camera control is required for 3D virtual and mixed reality applications. In our solution, we use a few images of a face to perform 3D reconstruction, and we introduce the notion of the GAN camera manifold, the key element allowing us to precisely define the range of images that the GAN can reproduce in a stable manner. We train a small face-specific neural implicit representation network to map a captured face to this manifold and complement it with a warping scheme to obtain free-viewpoint novel-view synthesis. We show how our approach - due to its precise camera control - enables the integration of a pre-trained StyleGAN into standard 3D rendering pipelines, allowing e.g., stereo rendering or consistent insertion of faces in synthetic 3D environments. Our solution proposes the first truly free-viewpoint rendering of realistic faces at interactive rates, using only a small number of casual photos as input, while simultaneously allowing semantic editing capabilities, such as facial expression or lighting changes.

研究の動機と目的

• 事前学習済みのスタイルGANを用いて、正確な 3D カメラ制御を伴う写真のようにリアルな自由視点ポートレートレンダリングを可能にすること。
• スタイルGANが安定して生成可能な 3D カメラポーズの部分空間を定義・特徴づけること——カメラ多様体を導入すること。
• GANで生成された顔を、ステレオレンダリングや合成シーンへの挿入などの 3D レンダリングパイプラインにスムーズに統合できること。
• 任意のカメラパrameterを用いた新視点合成を可能にしつつ、顔の表情・照明などの高精度な意味的編集を維持すること。
• 従来の GAN ベースのポートレート手法が限定的で固定された少数の視点に制限されており、明示的な 3D カメラ制御が欠如しているという限界を克服すること。

提案手法

• 本手法は、訓練データのアライメント制約（例：目や口の位置の制約）に基づき、スタイルGANが安定して生成可能な 3D カメラポーズの集合をカメラ多様体として定義する。
• 被写体の 10～25枚の普通の多視点画像から、粗い 3D フェイスメッシュとキャリブレーション済みカメラを再構築する。
• 小さな、顔に特化したニューラルインパルシブネットワークを訓練し、多様体上のカメラをスタイルGANの潜在空間内の対応する潜在コードにマップする。
• 多様体外の新視点の場合、粗い 3D 形状を用いて、最も近い多様体カメラからの画像を目的の視点に歪ませるスキームを採用する。
• 多様体と幾何学的ワープを活用することで、任意の 3D カメラポーズ（ステレオやマルチビュー配列を含む）において一貫したレンダリングを実現する。
• 本手法は、スタイルGANの潜在空間による意味的編集（例：年齢の変更、笑顔）をサポートし、ワープ処理を通じて幾何学的整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みスタイルGANが安定して生成可能な 3D カメラポーズの内在的部分空間とは何か？ そして、その定義と特徴づけ方はどうなるか？
• RQ2 事前学習済み GAN を用いて、限定された視点集合に制限されず、任意の 3D カメラポーズに対して写真のようにリアルなポートレートを生成することは可能か？
• RQ3 わずかな普通の撮影画像を用いて、GAN ベースの生成器で自由視点レンダリングを可能にする十分な 3D 形状を再構築できるか？
• RQ4 任意のカメラ制御を伴う新視点合成において、スタイルGANの意味的編集機能をどのように維持できるか？
• RQ5 カメラ多様体外の視点を合成する際、幾何学的忠実度とワープ精度の限界は何か？

主な発見

• カメラ多様体は、訓練データにおける顔の特徴点（目、口）のアライメントに基づき、スタイルGANが安定して生成可能な 3D カメラポーズの集合として定義される。
• 本手法は、特別な撮影環境を必要とせず、10～25枚の普通の撮影画像のみで、インタラクティブな速度で自由視点ポートレートレンダリングを実現する。
• カメラが有効な多様体範囲内にある場合、レンダリング品質は幾何的再構築の精度に依存せず、パララックスが発生しないためである。
• 多様体外の視点については、ワープスキームが妥当な新視点を効果的に生成するが、粗い形状が不正確な場合にはアーティファクトが生じる可能性がある。
• 本手法は、ステレオレンダリングや合成シーンへの一貫した挿入を含む、3D レンダリングパイプラインへの GAN 生成顔のスムーズな統合を可能にする。
• 意味的編集（例：表情、照明）は、スタイルGANの潜在空間の操作により、合成されたすべての視点で完全に機能し、維持される。