[論文レビュー] Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

Kerui Ren, Lihan Jiang+5 more|arXiv (Cornell University)|Mar 26, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

Octree-GS は、階層的なオクソトリーに基づくアンカーポイントを用いて、さまざまな視点距離で一貫したリアルタイムレンダリングを可能にする、LOD 構造を備えた 3D ガウススプラッティングフレームワークを導入する。視界距離とシーンの複雑さに応じて動的にマルチスケールのガウス分布を選択することで、MatrixCity のような大規模で詳細豊富なシーンでも 30 FPS を超える安定したパフォーマンスを達成し、Mip-Splatting や Scaffold-GS といった最先端手法を視覚的品質とレンダリングの一貫性の両面で上回る。

ABSTRACT

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.

研究の動機と目的

• ズームアウトトラジェクトリにおいて、大規模で詳細豊富なシーンにおける 3D ガウススプラッティング（3D-GS）のレンダリング速度と視覚的品質の不一致を解消すること。
• 視界フリスツムのみに基づくガウス分布の選択の限界を克服し、冗長な計算と LOD への適応性の欠如を回避すること。
• レベルオブディテール（LOD）に配慮したレンダリングを可能にするために、階層的でマルチスケールのオクソトリー構造を用いて 3D ガウス分布を整理すること。
• ガウス分布の数を増やさずに、推論中に動的に LOD 選択を可能にし、パフォーマンスと忠実度のバランスを取ること。
• プログレッシブトレーニングと LOD バイアス機構を用いて、遠方領域や高周波数の詳細領域のレンダリング品質を向上させること。

提案手法

• 各ノードがマルチスケールのアンカーポイントとしてのガウス分布を表す階層的なオクソトリー・データ構造を用いて 3D ガウス分布を構造化する。
• 視界距離とシーンの詳細の豊かさに応じて適切な LOD レベルを動的に選択することで、遠方または可視性の低い特徴の冗長レンダリングを削減する。
• 粗いレベルから細かいレベルへガウス分布を伝搬する「次のレベルに成長させる演算子」を導入し、レベル間の相互作用を可能にし、詳細の捉え込みを向上させる。
• 遠方の視点においても高周波数の詳細を優先的に処理するための LOD バイアス機構を適用し、視覚的アーチファクトやエッジのぼやけを低減する。
• 粗い LOD レベル（例：レベル 2 または 4）から開始するプログレッシブトレーニングを採用し、最適化の安定化とレベル間の重複を防ぐ。
• オクソトリー構造を備えたガウス分布を Scaffold-GS フレームワークに統合し、視点適応型かつ微分可能なレンダリングパイプラインを維持する。

実験結果

リサーチクエスチョン

• RQ1 階層的で LOD に配慮した 3D ガウス表現は、大規模なシーンにおけるさまざまな視点距離でのレンダリングの一貫性を向上させることができるか？
• RQ2 視界距離に基づく動的 LOD 選択は、固定された視界フリスツム選択と比較して、レンダリングパフォーマンスと視覚的品質にどのように影響を与えるか？
• RQ3 粗いレベルから細かいレベルへと段階的にトレーニングを行うことで、ガウス分布のシーン幾何との整合性がどの程度向上し、アーチファクトが減少するか？
• RQ4 オクソトリーに基づくアンカーポイント構造は、マルチスケールのガウス分布を効果的に管理しながらも、リアルタイムレンダリング速度を維持できるか？
• RQ5 提案された LOD バイアス機構は、遠方の視点におけるエッジのシャープネスと詳細の保持をどの程度向上させるか？

主な発見

• Octree-GS は、MatrixCity データセットの全ズームアウトトラジェクトリにおいて、30 FPS 以上の一貫したリアルタイムレンダリングを達成する。これに対して Mip-Splatting や Scaffold-GS は距離が遠くなると 30 FPS を下回る。
• モデルは高い視覚的忠実度を維持し、MatrixCity データセットで PSNR 31.05、LPIPS 0.055 を達成し、両方の指標で最先端のベースラインを上回る。
• アブレーションスタディの結果、次のレベルに成長させる演算子を追加することで、PSNR が 0.47 上昇（28.78 → 29.25）、LPIPS が 0.025 減少し、詳細の捉え込みが向上することが示された。
• LOD バイアスを組み込むことで、ベースラインと比較して PSNR が 0.21 上昇、LPIPS が 0.002 減少し、遠方の視点におけるエッジのシャープネスが顕著に向上した。
• レベル 2 または 4 から開始するプログレッシブトレーニングにより、粗いレベルのレンダリング精度が向上し、M7（初期化 @4）では PSNR 29.50、LPIPS 0.177 を達成し、非プログレッシブなバージョンよりも優れた忠実度を示した。
• 全モジュールを備えた本モデル（すべてのコンponentsを含む）は、PSNR 31.05、LPIPS 0.055 を達成し、オクソトリー構造、LOD バイアス、プログレッシブトレーニングの組み合わせが最適なパフォーマンスをもたらすことを示した。