[論文レビュー] Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes

Towaki Takikawa, Joey Litalien+7 more|arXiv (Cornell University)|Jan 26, 2021

3D Shape Modeling and Analysis参考文献 41被引用数 33

ひとこと要約

リアルタイムレンダリングを可能にする連続的なLODと高い再構成品質を、 tiny MLP デコーダを用いた疎な octree ベースのニューラル SDF 表現である Neural Geometric Level of Detail (NGLoD) を提案。

ABSTRACT

Neural signed distance functions (SDFs) are emerging as an effective representation for 3D shapes. State-of-the-art methods typically encode the SDF with a large, fixed-size neural network to approximate complex shapes with implicit surfaces. Rendering with these large networks is, however, computationally expensive since it requires many forward passes through the network for every pixel, making these representations impractical for real-time graphics. We introduce an efficient neural representation that, for the first time, enables real-time rendering of high-fidelity neural SDFs, while achieving state-of-the-art geometry reconstruction quality. We represent implicit surfaces using an octree-based feature volume which adaptively fits shapes with multiple discrete levels of detail (LODs), and enables continuous LOD with SDF interpolation. We further develop an efficient algorithm to directly render our novel neural SDF representation in real-time by querying only the necessary LODs with sparse octree traversal. We show that our representation is 2-3 orders of magnitude more efficient in terms of rendering speed compared to previous works. Furthermore, it produces state-of-the-art reconstruction quality for complex shapes under both 3D geometric and 2D image-space metrics.

研究の動機と目的

• リアルタイムレンダリングのために可変ディテールをサポートする高速でスケーラブルなニューラル implicit surfaces の必要性を動機づける。
• 複数のLODをサポートする、疎なボクセルオクツリー(SVO)ベースのニューラルSDF表現を提案する。
• リアルタイム性能のために必要なLODのみを照会する効率的なレンダリングパイプライン（球追跡法）を開発する。
• スケール全体で一貫したジオメトリ品質を実現するため、すべての離散LODを共同最適化する設定を訓練する。
• 先行するニューラル暗黙法より優れた再構成品質と顕著な高速化をデモンストレーションする。

提案手法

• 可変学習可能な特徴ベクトルをボクセルの角に格納するSVOで暗黙表面を表現する。
• 各LODごとに小型MLPデコーダ f_theta_L を用い、連結された補間特徴と位置を符号付き距離へ写像する。
• ボクセルの角をまたぐ三線補間で各LODの特徴を計算し、LOD間を合計して z(x;L,Z) を得る。
• 離散LODをブレンドして、予測距離を係数 alpha で補間して連続LODを得る。
• すべてのLODデコーダと特徴を、レベル間の誤差を合計するマルチLOD損失で共に訓練する（J = E_x,d sum_L ||f_theta_L([x,z(x;L,Z)]) - d||^2）。
• 光線–オクツリー交差と適応ステップを用いた特化の球追跡アルゴリズムで、占有ボクセルのみを走査してレンダリングする。）

実験結果

リサーチクエスチョン

• RQ1 複数のLODに跨って高い幾何学的忠実度を保ちながら、ニューラルSDFをリアルタイムにレンダリングできるか。
• RQ2 小型デコーダを持つSVOベースのマルチLODアーキテクチャは、固定サイズの大規模ネットワークよりも速度と精度のトレードオフで優れているか。
• RQ3 連続LODブレンディングは、アーティファクトや不安定性を生じずにニューラル暗黙表面に対して実現可能か。
• RQ4 LOD間の共同訓練は新しい形状へどれだけ一般化し、効率的なレンダリングと圧縮を支援するか。
• RQ5 提案手法のパフォーマンスと品質の利点は、従来のニューラル暗黙法（例：DeepSDF、NSVF、NeRFベースの手法）と比べてどれほどか。

主な発見

• 本手法は、同様の設定における先行研究より2〜3オーダー級のレンダリング速度向上を達成し、複雑なニューラルSDFのリアルタイムレンダリングを可能にする。
• ShapeNet、Thingi32、TurboSquidで、複数の指標とデータセットにおいて最先端の再構成品質を達成する。
• 小型MLPデコーダとSVO特徴量ボリュームを用いたLODは、距離クエリあたり固定の約4,737パラメータといった推論コストを低減しつつ高忠実度を維持する。
• 連続LODブレンディングは、SDFの離散オクツリーレベル間の滑らかな遷移を提供する。
• 本手法は1つの訓練例から形状間で一般化し、一般化タスクで形状ごとに過適合したベースラインより優れる。
• 実験は、複数解像度での収束の速さと好ましいレンダリングフレームレートを示し、低LOD時には顕著なメモリ効率を示す。