[論文レビュー] 4K4D: Real-Time 4D View Synthesis at 4K Resolution

Zhen Xu, Sida Peng+6 more|arXiv (Cornell University)|Oct 17, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、4D特徴グリッドとハイブリッドな外観モデリングを備えた4Dポイントクラウド表現4K4Dを提案する。これにより、RTX 4090 GPU上で4K解像度の動的ビュー合成を80 FPS以上でリアルタイムに実現できる。ハードウェアラスタライゼーションと微分可能深度ピーリングアルゴリズムを活用することで、先行手法に比べて30倍高速なレンダリングを実現しながら、ベンチマークデータセットにおいて最先端の品質を維持した。

ABSTRACT

This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. Our project page is available at https://zju3dv.github.io/4k4d/.

研究の動機と目的

• 4K解像度でのリアルタイムかつ高精細な4D動的シーンレンダリングの課題に取り組む。
• 従来の暗黙的ニューラルレンダリング手法の遅い推論速度（1080pでは1フレームあたり数秒、4Kでは1.3 FPSにまで低下）を克服する。
• ハードウェアアクセceleratedレンダリングをサポートしつつも、高い視覚的品質を維持できるニューラル表現を開発する。
• GPUラスタライゼーションと互換性を持つ微分可能深度ピーリングアルゴリズムを導入し、効率的な最適化とレンダリングを可能にする。
• 画像ベースのブレンドと連続的な球面調和関数を組み合わせたハイブリッド外観モデルを設計し、速度を犠牲にせずにレンダリング忠実度を向上させる。

提案手法

• 空間カービングを用いて粗い幾何構造を取得する4Dポイントクラウド表現を構築し、学習可能な点位置と4D特徴グリッドを用いて特徴符号化を行う。
• MLPを用いて4D特徴グリッドから点の半径、密度、球面調和関数（SH）係数を予測し、体積レンダリング用の半透明ポイントクラウドを形成する。
• ハイブリッド外観モデルを設計：高周波数の詳細を扱う視点に依存しない画像ブレンドネットワーク（IBR）と、視点依存外観を表現する連続的SHモデルを組み合わせる。
• IBR項を視点方向から分離することで、事前計算とキャッシュが可能となり、高速レンダリングを実現するとともに、連続的SHモデルで離散的視点依存性を補完する。
• GPUラスタライゼーションパイプラインを活用した微分可能深度ピーリングアルゴリズムを開発し、最適化とレンダリングの両方を高速化。これにより、高コストな1本の光線ごとのMLP評価を置き換える。
• FP16推論、深さピーリングのパス数を削減（K=12）、事前計算済みの幾何構造および外観特徴のメモリキャッシュといった最適化技術を適用し、速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 4D特徴グリッドを備えたニューラルポイントクラウド表現は、4K解像度においても高いレンダリング品質とリアルタイム性能を両立できるか？
• RQ2 画像ベースのブレンドと球面調和関数を組み合わせたハイブリッド外観モデルは、SHオンリーやIBRオンリーのアプローチに比べて、レンダリング品質の向上にどの程度効果的か？
• RQ3 微分可能深度ピーリングによるハードウェアアクセceleratedレンダリングは、従来のCUDAベースの微分可能レンダリングに比べ、速度とスケーラビリティの面でどの程度優れているか？
• RQ4 FP16、深さピーリングパス数の削減、特徴キャッシュといった最適化技術が、リアルタイム4Kレンダリングにおけるレンダリングスループットに及ぼす影響は何か？
• RQ5 提案手法は、RTX 4090のような一般消費向けGPUを用いて、4K解像度の画像でリアルタイム性能（≥30 FPS）を達成できるか？

主な発見

• DNA-Renderingデータセットにおいて、RTX 3090 GPUを用いて1080p解像度で400 FPSを達成し、4K解像度では80 FPSを記録。これは先行手法に比べて30倍の高速化を実現した。
• ENeRF-Outdoorデータセットにおいて、RTX 4090を用いて4K解像度でGUIのオーバーヘッドを含めた状態でも85.1 FPSでレンダリング可能であり、4Kコンテンツにおけるリアルタイム性能を実証した。
• アブレーションスタディの結果、幾何構造および外観特徴のキャッシュにより10倍の高速化（219.4 FPS 対 22.2 FPS）が達成され、事前計算の有効性が確認された。
• 微分可能深度ピーリングアルゴリズムは、PyTorch3DのCUDAベース実装に比べ7倍以上高速であり、最適化用途における効率性が裏付けられた。
• FP16の適用と深さピーリングパス数を15から12に削減することで、レンダリング速度が20 FPS向上し、混合精度およびアルゴリズム最適化の影響が顕著に現れた。
• ハイブリッド外観モデルは、DNA-RenderingデータセットでPSNR（31.990）とSSIM（0.982）の最先端水準を達成し、品質面で従来手法を上回りつつも、高い速度を維持した。