[論文レビュー] Portrait Neural Radiance Fields from a Single Image

Chen Gao, YiChang Shih+3 more|arXiv (Cornell University)|Dec 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 74被引用数 42

ひとこと要約

この論文は、light-stageポートレートデータセット上でメタ学習を用いてNeRFを事前学習し、canonical face space内で入力被写体に対してファインチューニングすることにより、1枚の正面写真からポートレートNeRFを合成する方法を提示します。

ABSTRACT

We present a method for estimating Neural Radiance Fields (NeRF) from a single headshot portrait. While NeRF has demonstrated high-quality view synthesis, it requires multiple images of static scenes and thus impractical for casual captures and moving subjects. In this work, we propose to pretrain the weights of a multilayer perceptron (MLP), which implicitly models the volumetric density and colors, with a meta-learning framework using a light stage portrait dataset. To improve the generalization to unseen faces, we train the MLP in the canonical coordinate space approximated by 3D face morphable models. We quantitatively evaluate the method using controlled captures and demonstrate the generalization to real portrait images, showing favorable results against state-of-the-arts.

研究の動機と目的

• 1枚の画像からポートレートのフォトリアリスティックなビュー合成を実現する。
• 複数キャプチャなしでNeRFを未知の被写体へ一般化する。
• 髪型・上頭部・胴の扱いを含むcanonical face spaceを介した顔幾何学 priors の取り込み。
• 定量評価のための多視点ポートレートデータセットを提供する。
• 新規ビュー合成や視点/視野角の操作などの応用を実証する。

提案手法

• light-stageポートレートデータセットでMLPベースのNeRFを事前訓練し、一般的な顔の priors を学習する。
• 3D形状モーファブルモデル幾何から得られる剛体変換を用いて、世界座標をcanonical face spaceへワープする。
• 入力の正面ビュー1枚で事前訓練済みNeRFを被写体へ適応させる（theta_s）。
• rayをcanonical spaceへワープした後、ボリュームレンダリングで新規ビューをレンダリングする。
• 見えない被写体への迅速適応を可能にする勾配ベースのメタ学習で訓練する。
• canonical座標を用いることで、髪型・アクセサリ・上頭部領域を跨いだ一般化とリアリズムを向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのポートレート画像からNeRFを効果的に訓練し、同一被写体の新規ビューを合成できるか。
• RQ2 メタ学習とcanonical face spaceは、ランダム初期化や素朴な事前学習と比べて未知の被写体への一般化を改善するか。
• RQ3 提案手法は、制御されたデータおよび実世界データに対して、最先端のポートレートビュー合成法と比較してどうか。
• RQ4 訓練データ量と入力ビュー数が合成品質に与える影響はどの程度か。
• RQ5 実世界画像に対して、単一画像ポートレートNeRFを適用する際の制限・失敗モードは何か。

主な発見

• 本手法は、light-stageデータセット上で前提のポートレートビュー合成法よりも高いPSNR、SSIM、低いLPIPSを達成している（PSNR 23.92, SSIM 0.7688, LPIPS 0.161）。
• メタ学習とcanonical face coordinatesを組み合わせた事前学習は、未知の被写体への一般化を、ランダム初期化または素朴な事前学習と比べて大幅に改善する。
• canonical face spaceのワーピングは、眼と顎のアーチファクトを低減し、world coordinatesを用いる場合より定量的指標が改善する。
• 1枚の正面ビューへのファインチューニングにより、髪やアクセサリを含む多様な被写体に対して、リアルでアイデンティティを保った新規ビュー合成が可能となる。
• テスト時に入力ビュー数を増やすと性能が向上する（例：1ビューから5ビューへ、ablationでPSNRが24.98から32.45へ改善）。
• 本手法は3Dニューラル表現に基づくため、焦点距離の調整を伴うパースペクティブ操作（ドルイング）の実現が可能である。