[論文レビュー] A Free Viewpoint Portrait Generator with Dynamic Styling.

Anpei Chen, Ruiyang Liu+2 more|arXiv (Cornell University)|Jul 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 5

ひとこと要約

本論文は、3次元認識形状表現のためのセマンティックオキュパンシー・フィールド（SOF）を用いて幾何学的空間とテクスチャ空間を分離し、セマンティックインスタンスワイズ（SIW）スタイルGANを用いて領域別スタイル制御を実現する自由画角ポートレート生成手法を提案する。664体の3次元ポートレートスキャンと実写画像（FFHQ/CelebA-HQ）を用いて訓練することで、ポーズ、視点、領域別スタイルの分離された、外見の一貫性を保った編集が可能となり、制御性と一般化性能において最先端の性能を達成した。

ABSTRACT

Generating portrait images from a single latent space facing the problem of entangled attributes, making it difficult to explicitly adjust the generation on specific attributes, e.g., contour and viewpoint control or dynamic styling. Therefore, we propose to decompose the generation space into two subspaces: geometric and texture space. We first encode portrait scans with a semantic occupancy field (SOF), which represents semantic-embedded geometry structure and output free-viewpoint semantic segmentation maps. Then we design a semantic instance wised(SIW) StyleGAN to regionally styling the segmentation map. We capture 664 3D portrait scans for our SOF training and use real capture photos(FFHQ and CelebA-HQ) for SIW StyleGAN training. Adequate experiments show that our representations enable appearance consistent shape, pose, regional styles controlling, achieve state-of-the-art results, and generalize well in various application scenarios.

研究の動機と目的

• 単一の潜在空間における属性のエンタングルメントを解消し、幾何学とスタイルの明示的制御を制限する要因を解決すること。
• 3次元認識セマンティック幾何学のモデリングにより、視点角度にわたる外見の一貫性を保った自由画角生成を実現すること。
• テクスチャの操作を幾何学的構造から分離することで、領域別スタイル編集を実現すること。
• 多様な応用シナリオに一般化する強力なポートレート生成システムを訓練すること。

提案手法

• 664体の3次元ポートレートスキャンを用いてセマンティックオキュパンシー・フィールド（SOF）を訓練し、セマンティック埋め込み3次元幾何学を表現するとともに、自由画角セマンティックセグメンテーションマップを生成する。
• 実写ポートレート写真（FFHQおよびCelebA-HQ）を用いて、セグメンテーションマップに領域別スタイル転送を適用するセマンティックインスタンスワイズ（SIW）スタイルGANを訓練する。
• 生成空間を2つの部分空間に分解する：SOFによる幾何学的空間と、SIWスタイルGANによるテクスチャ空間。これにより分離された制御を実現する。
• 入力スキャンをSOFにエンコードして3次元構造を持つセマンティックマップを生成し、インスタンス認識潜在コードを用いてSIWスタイルGANでスタイルを適用する。
• SOFの3次元一貫性を活用して、外見の忠実性を保ちながら視点やポーズの変更を可能にする。
• SOFの幾何学的表現とSIWスタイルGANの領域別スタイルモodulationを組み合わせることで、細粒度の制御可能なポートレート生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 幾何学とテクスチャの分離表現が、ポートレート生成における視点および輪郭の明示的制御を可能にするか？
• RQ2 スタイルGANフレームワーク内でのインスタンスワイズ潜在コードを用いることで、領域別スタイル編集はどの程度効果的に達成できるか？
• RQ3 SOFに基づく幾何学的表現が、自由画角にわたる形状の一貫性をどの程度保持するか？
• RQ4 先行手法と比較して、本手法は多様なポートレート生成シナリオにどの程度一般化するか？

主な発見

• 提案手法は、ポーズおよび視点の明示的制御を可能にする自由画角ポートレート生成において、最先端の性能を達成した。
• 3次元認識SOFによるセマンティック幾何学表現のおかげで、視点角度にわたる外見の一貫性が顕著に向上した。
• SIWスタイルGANのおかげで、髪の色や衣装のテクスチャなど、属性の局所的変更が可能になり、効果的な領域別スタイル編集が実現した。
• 未観測のポーズや照明条件を含む多様な応用シナリオにおいても、モデルの一般化性能が優れていた。
• SOFの訓練に664体の3次元スキャンを、SIWの訓練に実写画像（FFHQ/CelebA-HQ）を用いることで、高精細で制御可能な生成が可能になった。
• 定量的および定性的な結果から、ベースライン手法と比較して優れた分離性と編集能力が示された。