[論文レビュー] HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

Keunhong Park, Utkarsh Sinha+6 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Vision and Imaging参考文献 45被引用数 81

ひとこと要約

HyperNeRF は NeRF を高次元のアンビエント空間と変形可能なスライシングで拡張し、ダイナミックシーンのトポロジー変化をモデル化し、モーメント間の補間と新規ビュー合成を改善します。

ABSTRACT

Neural Radiance Fields (NeRF) are able to reconstruct scenes with unprecedented fidelity, and various recent works have extended NeRF to handle dynamic scenes. A common approach to reconstruct such non-rigid scenes is through the use of a learned deformation field mapping from coordinates in each input image into a canonical template coordinate space. However, these deformation-based approaches struggle to model changes in topology, as topological changes require a discontinuity in the deformation field, but these deformation fields are necessarily continuous. We address this limitation by lifting NeRFs into a higher dimensional space, and by representing the 5D radiance field corresponding to each individual input image as a slice through this "hyper-space". Our method is inspired by level set methods, which model the evolution of surfaces as slices through a higher dimensional surface. We evaluate our method on two tasks: (i) interpolating smoothly between "moments", i.e., configurations of the scene, seen in the input images while maintaining visual plausibility, and (ii) novel-view synthesis at fixed moments. We show that our method, which we dub HyperNeRF, outperforms existing methods on both tasks. Compared to Nerfies, HyperNeRF reduces average error rates by 4.1% for interpolation and 8.6% for novel-view synthesis, as measured by LPIPS. Additional videos, results, and visualizations are available at https://hypernerf.github.io.

研究の動機と目的

• 連続変形を超えるダイナミックシーンのトポロジー変動に対処する。
• テンプレート NeRF のスライスを表現するために高次元（アンビエント）空間を活用する。
• シーンのモーメント間の滑らかな補間と高品質な新規ビュー合成を実現する。
• 変形可能なスライシング面を通じてトポロジー変化現象の効率的な表現を促進する。

提案手法

• 各観測フレームを HyperNeRF を通る非平面スライスとして表現する。
• テンプレート NeRF を高次元ドメイン (x, w) に拡張し、W 個のアンビエント次元を持つ。
• 空間点をアンビエント座標に写像するために変形可能なスライシング面 H(x, ωi) を用い、トポロジー変化を可能にする。
• 変形 T(x, ωi) とスライシング H を MLP と潜在コード ωi（変形）と ψi（外観）でパラメータ化する。
• アンビエント座標に窓付き位置エンコーディングを適用し、アンビエント次元の使用を分散させて最適化を安定化させる。
• L2 写真計量損失でエンドツーエンドに訓練し、粗から細への窓付きエンコーディングスケジュールと標準の NeRFレンダリングを使用する。

実験結果

リサーチクエスチョン

• RQ1 変形可能なスライシングを備えた高次元のアンビエント空間は、ダイナミック NeRF シーンのトポロジー変化を捉えられるだろうか？
• RQ2 HyperNeRF は観測されたモーメント間の補間を改善し、固定モーメントでの新規ビュー合成を向上させるだろうか？
• RQ3 NeRF におけるトポロジー変動の表現について、変形可能スライシングは軸に整列したスライシングとどう比較されるか？

主な発見

• HyperNeRF は、補間と新規ビュー合成の両タスクで、以前の手法よりも鋭く高品質なレンダリングを、より少ないアーティファクトで達成する。
• Nerfies と比較して、HyperNeRF は補間の平均誤差を4.1%、新規ビュー合成（LPIPS）を8.6%低減する。
• 変形可能スライシング面（DS）の使用は、軸に整列したスライシング平面（AP）よりも再構成品質が高く、状態補間をより滑らかにする。
• 窓付きエンコーディングによるアンビエント次元の使用の遅延は、最適化の安定性を向上させ、アンビエント座標への早すぎる依存を避ける。
• HyperNeRF は、深度センサーなしでモノクロマ動画から位相変化するシーンのフォトリアリスティックな自由視点レンダリングを再構成できる。