[論文レビュー] SNeRF: Stylized Neural Implicit Representations for 3D Scenes

Thu Nguyen-Phuoc, Feng Liu+1 more|arXiv (Cornell University)|Jul 5, 2022

Advanced Vision and Imaging被引用数 13

ひとこと要約

SNeRF は、ニューラルレイトランスフィールド（NeRF）を用いた 3D シーンのスタイル化のための新しいフレームワークを提案する。NeRF のトレーニングとニューラルスタイル転送を交互に繰り返すことで、高品質でマルチビューに一貫性のあるスタイル化された新規ビューの生成を実現する。メモリ効率の良いトレーニング方式により、GPU メモリ制限を克服し、インdoor、outdoor、およびダイナミックな 4D シーンにおいて、細分化されたスタイル転送とビュー間の一貫性を実現した最先端の結果を達成した。

ABSTRACT

This paper presents a stylized novel view synthesis method. Applying state-of-the-art stylization methods to novel views frame by frame often causes jittering artifacts due to the lack of cross-view consistency. Therefore, this paper investigates 3D scene stylization that provides a strong inductive bias for consistent novel view synthesis. Specifically, we adopt the emerging neural radiance fields (NeRF) as our choice of 3D scene representation for their capability to render high-quality novel views for a variety of scenes. However, as rendering a novel view from a NeRF requires a large number of samples, training a stylized NeRF requires a large amount of GPU memory that goes beyond an off-the-shelf GPU capacity. We introduce a new training method to address this problem by alternating the NeRF and stylization optimization steps. Such a method enables us to make full use of our hardware memory capacity to both generate images at higher resolution and adopt more expressive image style transfer methods. Our experiments show that our method produces stylized NeRFs for a wide range of content, including indoor, outdoor and dynamic scenes, and synthesizes high-quality novel views with cross-view consistency.

研究の動機と目的

• 3D シーン表現が持つ強い幾何的インダクティブバイアスを活用して、フレームごとのフレイキングや一貫性の欠如を解消する。
• NeRF を用いて高解像度・高忠実度の 3D シーンのスタイル化を実現するが、トレーニング中の GPU メモリ制限を克服する。
• さまざまな暗黙的シーン表現とスタイル転送手法をサポートする汎用的でプラグアンドプレイなフレームワークを開発する。
• 3D シーンにおいて、外観だけでなくジオメトリも効果的にスタイル化することを実現し、外観のみを変更する手法を上回る。
• スタイル化を動的 4D アバターに拡張し、時間変化するシーンにおいても時間的・空間的一貫性を維持する。

提案手法

• NeRF シーン表現の最適化とレンダリング画像へのニューラルスタイル転送を交互に繰り返すトレーニング方式を導入する。
• 2段階の最適化を採用：まず事前学習済みのスタイル転送ネットワークを用いてレンダリング画像のパッチをスタイル化し、次に NeRF を微調整してマルチビューの一貫性を維持する。
• 各トレーニングステップで高解像度の画像パッチにニューラルスタイル転送を適用し、GPU メモリ制限を超えない範囲で詳細なスタイルの捉え込みを可能にする。
• NeRF レンダリングプロセスを通じた勾配のバックプロpagationにより、複数のビュー間の一貫性を維持し、幾何的整合性を確保する。
• 時間座標を含む NeRF の定式化を拡張することで、静的シーンと動的 4D アバターの両方をサポートし、空間的・時間的スタイル化を実現する。
• モジュラーなコンponentsとしてさまざまな NeRF 変種とスタイル転送モデルを統合可能なプラグアンドプレイアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 NeRF などの暗黙的ニューラル表現を活用することで、複数のビューにわたる 3D シーンスタイル化の一貫性を実現できるか？
• RQ2 トレーニング中の厳密な GPU メモリ制限のもとで、高解像度で詳細なスタイル化を達成できるか？
• RQ3 3D シーンにおいて、外観だけでなくジオメトリも効果的にスタイル化できるか？（外観のみを変更する手法と比較して）
• RQ4 NeRF トレーニングとスタイル転送の交互最適化は、単一段階のアプローチと比較して、スタイル化の忠実度と一貫性を向上させるか？
• RQ5 このフレームワークは、人間のアバターのような動的 4D シーンに一般化可能であり、時間的および空間的一貫性を維持できるか？

主な発見

• 交互トレーニング方式により、独立してスタイル化された画像を用いた単一段階トレーニングと比較して、スタイル化品質とビュー間の一貫性が顕著に向上した。
• SNeRF は、ステイリゼッド・ノベルビュー合成において最先端のパフォーマンスを達成し、定量的指標および定性的な評価の両面で、画像ベースおよび 3D ベースのスタイル化手法を上回った。
• 本手法は、インdoor、outdoor、4D ダイナミックアバターを含む多様なシーンタイプを効果的にスタイル化でき、広範な適用可能性を示した。
• NeRF とスタイル転送の最適化を交互に実行することで、1台の V100 GPU 上でも高解像度のスタイル化（例：1008×548）が可能になり、従来のメモリボトルネックを克服した。
• ジオメトリと外観の両方をスタイル化することで、RGB ブランチのみを変更する手法よりも忠実なスタイル転送が実現した。
• スタイライズド NeRF を 'ベーキング' した後はリアルタイム推論が可能であり、AR/VR/MR アプリケーションに適している。