[論文レビュー] 3D-Aware Encoding for Style-based Neural Radiance Fields

Yu-Jhe Li, Tao Xu+7 more|arXiv (Cornell University)|Nov 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、3Dに意識的なスタイルベースのニューラルレンディアンスフィールド（NeRF）の逆問題を解くための2段階エンコーダーフレームワーク、NeRF-3DEを提案する。単一画像からマルチビュー合成への高精細な再構成を可能にする。視覚に依存しないベースエンコーダーとアイデンティティを保持するリファインメントを組み合わせることで、従来のGAN逆問題化および最適化ベース手法に比べ、優れた3D一貫性とアイデンティティ保持性能を達成する。再構成品質および新規ビューレンダリング品質の両面でベースラインを上回る。

ABSTRACT

We tackle the task of NeRF inversion for style-based neural radiance fields, (e.g., StyleNeRF). In the task, we aim to learn an inversion function to project an input image to the latent space of a NeRF generator and then synthesize novel views of the original image based on the latent code. Compared with GAN inversion for 2D generative models, NeRF inversion not only needs to 1) preserve the identity of the input image, but also 2) ensure 3D consistency in generated novel views. This requires the latent code obtained from the single-view image to be invariant across multiple views. To address this new challenge, we propose a two-stage encoder for style-based NeRF inversion. In the first stage, we introduce a base encoder that converts the input image to a latent code. To ensure the latent code is view-invariant and is able to synthesize 3D consistent novel view images, we utilize identity contrastive learning to train the base encoder. Second, to better preserve the identity of the input image, we introduce a refining encoder to refine the latent code and add finer details to the output image. Importantly note that the novelty of this model lies in the design of its first-stage encoder which produces the closest latent code lying on the latent manifold and thus the refinement in the second stage would be close to the NeRF manifold. Through extensive experiments, we demonstrate that our proposed two-stage encoder qualitatively and quantitatively exhibits superiority over the existing encoders for inversion in both image reconstruction and novel-view rendering.

研究の動機と目的

• 単一画像からスタイルベースのニューラルレンディアンスフィールド（NeRF）の3Dに意識的な潜在空間に逆問題を解く挑戦に取り組むこと。これは、アイデンティティ保持と3Dビュー一貫性の両方を必要とする。
• 従来のGAN逆問題化手法がNeRFに適用された場合に生じる制限を克服すること。具体的には、潜在コードが視覚に依存しない性質を保ちにくく、有効な潜在多様体の外側に位置する傾向があること。
• まず同一オブジェクトの複数ビューにおいて視覚に依存しない潜在コードを学習するためのアイデンティティ対照的学習を用いたベースエンコーダーを学習し、次に詳細を精緻化する2段階エンコーダーを設計すること。
• 潜在コードがNeRF多様体に近い位置に位置するように保証することで、効果的な精緻化と安定した最適化を可能にすること。
• 学習された潜在コードが、PTI や W+ 最適化などのオンライン最適化手法の有効な初期化として機能することを実証すること。

提案手法

• 2段階エンコーダー構造：ベースエンコーダーが入力画像をW空間の潜在コードにマップし、その後、リファインングエンコーダーがアイデンティティの詳細を向上させる。
• ベースエンコーダーは、同一オブジェクトの複数ビュー間で視覚に依存しない性質を保つためにアイデンティティ対照的学習を用いて訓練される。
• 構造的および意味的一貫性を維持するために、実画像と合成画像の間で特徴レベル損失（L_feat）が適用される。
• トレーニング中に3D構造とアイデンティティ保持性を強化するために、トリプレーン特徴損失（L_tri）が導入される。
• 実画像と合成ビューの両方を用いてモデルを訓練し、後者は潜在コードのビュー間一般化を監視するために使用される。
• PTI や W+ 最適化などのオンライン最適化技術との統合を可能にするために、PTI や W+ 最適化のための高品質な初期潜在コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 2段階エンコーダー構造は、スタイルベースのNeRFに対して、単一画像から3D一貫性とアイデンティティ保持性を備えた潜在コードを効果的に学習できるか？
• RQ2 ベースエンコーダーにおけるアイデンティティ対照的学習は、標準的なGAN逆問題化手法と比較して、視覚に依存しない性質と3D一貫性をどのように向上させるか？
• RQ3 2段階目のエンコーダーによる潜在コードの精緻化は、3D構造を損なわず、アイデンティティおよび詳細の保持性をどの程度向上させるか？
• RQ4 学習された潜在コードは、PTI や W+ 最適化などのオンライン最適化手法に対して、ランダムまたはベースラインエンコーダーと比較してより優れた初期化として機能するか？
• RQ5 実画像、合成ビュー、特徴レベル損失の各要素が、強固なNeRF逆問題化を達成するために果たす相対的寄与度は何か？

主な発見

• 提案されたNeRF-3DEは、4つのヨー角において、すべてのベースラインと比較して最高のアイデンティティ（ID）スコアを達成しており、再構成性能に優れるPTIですらアイデンティティ保持性に失敗しているのと対照的である。
• 実画像と合成ビューの両方、および全特徴損失（L_feat）を用いたモデルが、3D一貫性とアイデンティティ忠実度のバランスが最も優れている。アブレーションスタディにより、任意のコンponentを省略すると性能が低下することが示された。
• 実画像を除いた合成画像のみを用いる場合、アイデンティティ保持性が損なわれる。これは、アイデンティティの整合性を保つために実画像の監視が必要であることを示している。
• アブレーションスタディにより、トリプレーン特徴損失（L_tri）は他のコンponentよりも3D構造とアイデンティティの保持性においてより重要な役割を果たしていることが明らかになった。
• 2段階エンコーダー構造は、新規ビューレンダリング品質を顕著に向上させ、リファインドされた潜在コードが、ベースエンコーダー単体よりもシャープで一貫性のあるビューを生成することが確認された。
• NeRF-3DEの潜在コードは、オンライン最適化手法（PTI や W+ 最適化）の初期化として優れた性能を示し、収束を加速させるとともに、画像品質および3D一貫性を向上させた。