Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] PlenOctrees for Real-time Rendering of Neural Radiance Fields

Alex Yu, Ruilong Li|arXiv (Cornell University)|Mar 25, 2021
Computer Graphics and Visualization Techniques被引用数 13
ひとこと要約

本論文では、視覚依存的な体積的構造に事前に表計算されたNeRF予測を組み込むことで、150 FPSを超えるリアルタイムレンダリングを実現する階層的オクソトリーに基づく3D表現、PlenOctreesを提案する。視覚依存的な外観を表す球面調和関数係数を予測するように変更されたNeRFを訓練し、PlenOctree構造を最適化することで、画像品質を損なわずにリアルタイム性能を達成し、インタラクティブな6自由度の視点移動とブラウザ内レンダリングを可能にする。

ABSTRACT

We introduce a method to render Neural Radiance Fields (NeRFs) in real time using PlenOctrees, an octree-based 3D representation which supports view-dependent effects. Our method can render 800x800 images at more than 150 FPS, which is over 3000 times faster than conventional NeRFs. We do so without sacrificing quality while preserving the ability of NeRFs to perform free-viewpoint rendering of scenes with arbitrary geometry and view-dependent effects. Real-time performance is achieved by pre-tabulating the NeRF into a PlenOctree. In order to preserve view-dependent effects such as specularities, we factorize the appearance via closed-form spherical basis functions. Specifically, we show that it is possible to train NeRFs to predict a spherical harmonic representation of radiance, removing the viewing direction as an input to the neural network. Furthermore, we show that PlenOctrees can be directly optimized to further minimize the reconstruction loss, which leads to equal or better quality compared to competing methods. Moreover, this octree optimization step can be used to reduce the training time, as we no longer need to wait for the NeRF training to converge fully. Our real-time neural rendering approach may potentially enable new applications such as 6-DOF industrial and product visualizations, as well as next generation AR/VR systems. PlenOctrees are amenable to in-browser rendering as well; please visit the project page for the interactive online demo, as well as video and code: https://alexyu.net/plenoctrees

研究の動機と目的

  • リアルタイムインタラクティブな応用を制限する、NeRFレンダリングの遅さという深刻なボトル neck を解消すること。
  • スペキュラー性などの視覚依存的効果をリアルタイムレンダリングパイプラインで保持すること。
  • NeRFの訓練を高速化するために、PlenOctree表現への早期変換を可能にすること。
  • 消費者用ハードウェアで、写真のようにリアルなシーンのインタラクティブで6自由度のレンダリングを可能にし、ブラウザ内デプロイも可能にすること。
  • 元のNeRFと比較して品質損失を最小限に抑えた高精細レンダリングを達成すること。

提案手法

  • 本手法は、各リーフが視覚依存的な放射輝度の密度と球面調和関数（SH）係数を格納するスパarsな階層的オクソトリー構造、PlenOctreesを導入する。
  • RGB値の代わりにSH係数を予測するように変更されたNeRFネットワークを訓練し、PlenOctreeへの効率的な表計算を可能にする。
  • レンダリング中に任意の視点方向でSH関数を評価することで、視覚依存的な外観をモデル化する。
  • 微分可能レンダリングを用いて、PlenOctree構造をエンドツーエンド最適化し、元のNeRFを上回る再構成品質を実現する。
  • NeRF訓練を早期に停止し、高価なニューラルネットワーク推論を回避するため、PlenOctree最適化に移行することで訓練を加速する。
  • WebGL互換のフラグメントシェーダー実装により、消費者用ラップトップでもリアルタイムのブラウザ内レンダリングが可能になる。
Figure 1: Real-time NeRF with PlenOctrees. Given a set of posed images of a scene, our method creates a 3D volumetric model that can be rendered in real-time. We propose PlenOctrees, which are octrees that can capture view-dependent dependent effects such as specularities. Rendering using our approa
Figure 1: Real-time NeRF with PlenOctrees. Given a set of posed images of a scene, our method creates a 3D volumetric model that can be rendered in real-time. We propose PlenOctrees, which are octrees that can capture view-dependent dependent effects such as specularities. Rendering using our approa

実験結果

リサーチクエスチョン

  • RQ1スペキュラー性などの視覚依存的効果を保持しつつ、NeRFをリアルタイムでレンダリングできるか？
  • RQ2PlenOctreeのような階層的ボリューム表現は、標準的なNeRFと比較して、両方の高速レンダリングと高品質な画像を達成できるか？
  • RQ3NeRF予測をPlenOctreeに事前に表計算することで、完全なNeRF訓練よりも高速に収束する訓練が可能になるか？
  • RQ4PlenOctreesは、インタラクティブな6自由度のシーン探索およびブラウザ内レンダリングに効果的に使用できるか？
  • RQ5外観モデル化のための基底関数として球面調和関数を用いることで、PlenOctreeにおける正確で効率的かつ微分可能な視覚依存レンダリングが可能になるか？

主な発見

  • V100 GPU上で800×800の画像レンダリングにおいて167.68 FPSを達成し、従来のNeRFと比較して3000倍の高速化を実現した。
  • ベンチマークデータセット上の定量的・定性的な比較により、PlenOctreesは元のNeRFと同等またはそれ以上の画像品質を達成した。
  • NeRF-SHモデルをPlenOctreeに早期に変換し、その後の最適化を実施することで、有効な訓練時間を短縮した：4.5時間のPlenOctree最適化で、16時間の完全なNeRF訓練と同等の品質が達成された。
  • ブラウザ内WebGLレンダラにより、消費者用ラップトップでもリアルタイムの6自由度の相互作用が可能となり、実用的デプロイの可能性を示した。
  • 平均的な非圧縮PlenOctreeサイズは、合成データで1.93 GB、Tanks and Templesで3.53 GBであったが、圧縮版はオンライン配信用に30〜120 MBまで小さくなった。
  • 本手法は実際のシーンおよび前方向けシーンでも良好に動作したが、無限大や極めて前方向けのシーンには最適化されておらず、そのような場面ではMPIがより適している可能性がある。
Figure 2: Method Overview. We propose a method to quickly render NeRFs by training a modified NeRF model (NeRF-SH) and converting it into a PlenOctree, an octree that captures view-dependent effects. a) The NeRF-SH model uses the same optimization procedure and volume rendering method presented in N
Figure 2: Method Overview. We propose a method to quickly render NeRFs by training a modified NeRF model (NeRF-SH) and converting it into a PlenOctree, an octree that captures view-dependent effects. a) The NeRF-SH model uses the same optimization procedure and volume rendering method presented in N

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。