[論文レビュー] Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

Tao Lu, Mulin Yu+5 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

Scaffold-GSは、SfMから得られるアンカーポイントを用いて構造的な3Dガウス表現を導入し、視点方向および距離に基づき、視点に適応した、オンザフライでのガウス属性（色、透過度、スケール、回転）の予測を可能にする。これにより、冗長性が低減され、視点変化やテクスチャの欠落した領域に対しても耐性が向上し、3D-GSに比べて格段に少ないストレージで、約100FPSのSOTAレンダリング品質を達成する。

ABSTRACT

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.

研究の動機と目的

• 3Dガウススプラッティング（3D-GS）の冗長性と視点非効率性に対処すること。3D-GSは訓練視点に過適合し、大規模な視点変化に対して耐性が薄い。
• 3D-GSが困難とするテクスチャの欠落した領域、反射性のある領域、または複雑な屋内／屋外シーンにおいて、シーンカバレッジとレンダリングの耐性を向上させること。
• 高忠実度のリアルタイムレンダリングを維持しつつ、モデルのストレージと計算コストを削減すること。
• 視点依存のMLPを用いて、アンカーフィーチャーと視点位置を条件として、オンザフライでガウス属性を予測する仕組みを実現すること。
• 冗長性を増加させることなく、シーンカバレッジを向上させる信頼性の高いアンカーの成長と削除戦略を開発すること。

提案手法

• SfM点群から得られるスパースボクセルグリッドとしてのアンカーポイントを初期化し、局所的な3Dガウス分布の構造的アンカーとして機能させる。
• 各アンカーは、視点内での視線方向および距離を入力として、視点依存のMLPを用いてガウス属性（色、透過度、スケール、回転）を動的に予測する。
• 推論時に、透過度に基づく学習可能なセレクタを用いてニューラルガウスをフィルタリングし、無関係または空の領域を除外した後、ラスタライゼーションを実行する。
• 二段階の階層構造を構築する：グリッド上に配置されたスパースアンカーと、各アンカーごとに生成されるニューラルガウスの集合。これにより、領域に適応した視点依存の表現が可能になる。
• 予測されたガウスの重要度を根拠に、アンカーのリファイニング（成長と削除）を実施する。
• 推論を視点フリスツム内のアンカーに限定し、透過度ベースのフィルタリングを適用することで、忠実度の損失を最小限に抑えながらレンダリングを高速化する。

実験結果

リサーチクエスチョン

• RQ1 テクスチャの欠落した領域や高スペキュラリティ領域といった困難なシーンにおいて、アンカーに基づく構造的3Dガウス表現は、視点に適応したレンダリングの耐性を向上させ得るか？
• RQ2 オンザフライで視点依存のガウス属性予測が、固定された3D-GSに比べて冗長性とストレージオーバーヘッドを低減できるか？
• RQ3 動的アンカーのリファイニング戦略（成長と削除）は、モデルサイズの増加を伴わずに、シーンカバレッジと忠実度を向上させ得るか？
• RQ4 大幅にストレージを削減した状態で、約100FPSの高速レンダリングを維持しつつ、SOTAのPSNRスコアを達成できるか？
• RQ5 初期のSfM点群の品質が性能に与える影響はどの程度か？また、このフレームワークは初期化が疎であっても補償可能か？

主な発見

• Scaffold-GSは、Blender PlayroomデータセットでPSNR 30.62、Dr. Johnsonで29.80を達成し、3D-GSと同等またはそれを上回る性能を発揮。ストレージはそれぞれ63MBおよび68MBにまで削減された。
• Playroomデータセットでは、完全なフィルタリングを適用した場合、150FPSに達し、フィルタリングなしの84FPSと比較して、透過度ベースのフィルタリングの有効性が明確に示された。
• 透明性、反射、テクスチャの欠落した表面など多様な困難な条件下でも、高い忠実度を維持しており、3D-GSが通常失敗する状況でも安定した性能を発揮する。
• アンカー成長処理は、細部やテクスチャの欠落した領域の回復に不可欠であり、同時に、ストレージの増加を制御し、効率性を向上させる。
• ニューラルガウスの活性化に用いるk値を変化させた実験では、安定したガウス数に収束することが確認され、ハイパーパramータ設定に対する頑健性が示された。
• フィルタリング戦略はPSNRにほとんど影響を及ぼさないが、推論速度には顕著な向上効果を示し、1K解像度で完全なフィルタリングを適用した場合150FPSを達成した。