[論文レビュー] 3D Gaussian Splatting for Real-Time Radiance Field Rendering

Bernhard Kerbl, Georgios Kopanas+2 more|arXiv (Cornell University)|Aug 8, 2023

Advanced Vision and Imaging被引用数 26

ひとこと要約

本論文は、微分可能な放射場のための3Dガウススプラットを導入し、1080pでリアルタイムレンダリング（≥30fps）と競争力のトレーニング時間を実現する高品質な新規視点合成を実現する。

ABSTRACT

Radiance Field methods have recently revolutionized novel-view synthesis of scenes captured with multiple photos or videos. However, achieving high visual quality still requires neural networks that are costly to train and render, while recent faster methods inevitably trade off speed for quality. For unbounded and complete scenes (rather than isolated objects) and 1080p resolution rendering, no current method can achieve real-time display rates. We introduce three key elements that allow us to achieve state-of-the-art visual quality while maintaining competitive training times and importantly allow high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution. First, starting from sparse points produced during camera calibration, we represent the scene with 3D Gaussians that preserve desirable properties of continuous volumetric radiance fields for scene optimization while avoiding unnecessary computation in empty space; Second, we perform interleaved optimization/density control of the 3D Gaussians, notably optimizing anisotropic covariance to achieve an accurate representation of the scene; Third, we develop a fast visibility-aware rendering algorithm that supports anisotropic splatting and both accelerates training and allows realtime rendering. We demonstrate state-of-the-art visual quality and real-time rendering on several established datasets.

研究の動機と目的

• 複数枚の写真またはビデオで撮影されたシーンに対して、リアルタイムで高品質な新規視点合成を動機づける。
• 疎なSfMポイントから初期化された3Dガウスを用いてシーンを表現し、重いMVSデータへの依存を避ける。
• 適応密度制御を用いて3Dガウスの特性を最適化し、コンパクトで正確なシーン表現を作る。
• リアルタイムの1080pレンダリングを可能にする、可視性を考慮した高速で微分可能なレンダラーを開発し、異方性スプラットをサポートする。

提案手法

• 位置、異方性共分散、そして不透明度で定義される3Dガウスを用いてシーンを表現する。
• 微分可能な射影モデルを介して3Dガウスを2Dスプラットへ投影し、アルファブレンディングによる画像形成を可能にする。
• 適応密度制御を伴うインタリーブ的な手法で、ガウスパラメータ（位置、スケールと回転による共分散、不透明度、SHカラー係数）を最適化する。
• ビュー空間勾配とアルファ閾値に基づいて、表現範囲と効率をバランスさせるため、最適化中にガウスを密化・剪定する。
• 画像ごとに事前にスプラットをソートするタイルベースの高速GPUラスタライザを実装し、可視性順序を保持した異方性スプラットを有効にし、逆伝播のための効率的なバックパスをサポートする。

Figure 1 . Our method achieves real-time rendering of radiance fields with quality that equals the previous method with the best quality (Barron et al . , 2022 ) , while only requiring optimization times competitive with the fastest previous methods (Fridovich-Keil and Yu et al . , 2022 ; Müller et

実験結果

リサーチクエスチョン

• RQ1 異方性のある3Dガウスが、最先端のNeRF手法と同等の高品質な輝度場表現を提供しつつ、リアルタイムレンダリングを実現できるか。
• RQ2 適応密度制御と高速微分可能レンダリングを組み合わせることで、品質を犠牲にせず最速の以前の手法と競えるトレーニング時間になるか。
• RQ3 重いMVSを用いないSfMポイントベースの初期化は、複雑で無限に広がるシーンに対して高品質な放射場を得るのに十分か。

主な発見

• 特定の学習設定下で、Mip-NeRF360などの従来の高品質手法と同等またはそれ以上の品質で1080pのリアルタイムレンダリングを実現。
• 最速クラスの手法（InstantNGP系など）と競争力のあるトレーニング時間を達成し、高品質な結果を提供。
• SfMポイントから作られた100万〜500万個のガウスでシーンを表現し、コンパクトでありながら正確なシーン表現を実現。
• 多数のピクセルあたりのスプラットを介した逆伝播を可能にする、異方性スプラットをサポートし、可視性を考慮した高速で微分可能なレンダラを導入。
• 複数の確立済みデータセット（例：Tanks&Temples、Deep Blending、Mip-NeRF360）で最先端の視覚品質とリアルタイム性能を実証。

Figure 2 . Optimization starts with the sparse SfM point cloud and creates a set of 3D Gaussians. We then optimize and adaptively control the density of this set of Gaussians. During optimization we use our fast tile-based renderer, allowing competitive training times compared to SOTA fast radiance