[論文レビュー] Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields

Wenbo Hu, Yuling Wang+5 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Neuroimaging Techniques and Applications被引用数 4

ひとこと要約

Tri-MipRFは、3次元事前フィルタリングされた特徴空間を3つの直交する2次元ミップマップに分解する、新しいTri-Mip符号化を提案する。これにより、アンチエイリアシングされたニューラルレイトランスフィールドの効率的な領域サンプリングが可能になる。この符号化をコーンキャスティングレンダリングとハイブリッドボリューム-サーフェス戦略と組み合わせることで、Instant-NGPより25%小さいモデルサイズかつ5分未満の再構築時間で最先端のレンダリング品質を達成する。

ABSTRACT

Despite the tremendous progress in neural radiance fields (NeRF), we still face a dilemma of the trade-off between quality and efficiency, e.g., MipNeRF presents fine-detailed and anti-aliased renderings but takes days for training, while Instant-ngp can accomplish the reconstruction in a few minutes but suffers from blurring or aliasing when rendering at various distances or resolutions due to ignoring the sampling area. To this end, we propose a novel Tri-Mip encoding that enables both instant reconstruction and anti-aliased high-fidelity rendering for neural radiance fields. The key is to factorize the pre-filtered 3D feature spaces in three orthogonal mipmaps. In this way, we can efficiently perform 3D area sampling by taking advantage of 2D pre-filtered feature maps, which significantly elevates the rendering quality without sacrificing efficiency. To cope with the novel Tri-Mip representation, we propose a cone-casting rendering technique to efficiently sample anti-aliased 3D features with the Tri-Mip encoding considering both pixel imaging and observing distance. Extensive experiments on both synthetic and real-world datasets demonstrate our method achieves state-of-the-art rendering quality and reconstruction speed while maintaining a compact representation that reduces 25% model size compared against Instant-ngp.

研究の動機と目的

• ニューラルレイトランスフィールドにおけるレンダリング品質と再構築効率の長年のトレードオフを解消すること。
• Instant-NGPのような効率的で点ベースのサンプリングにより生じる、遠方視点でのアリasingと近距離視点でのぼんやりとしたぼやけを克服すること。
• 再構築速度やモデルのコンactさを損なわず、高精細でアンチエイリアシングされたレンダリングを可能にすること。
• メモリ効率的で高速なトレーニングと互換性を持つ、3次元特徴の効率的領域サンプリングを可能にする表現を設計すること。

提案手法

• 3次元空間を3つの直交する平面（XY、XZ、YZ）に分解するTri-Mip符号化を提案し、それぞれをミップマップとして表現することで、事前フィルタリングされた3次元特徴をモデル化する。
• 2次元事前フィルタリングされたミップマップを用いることで、ミップマップレベル間での等方的フィルタリングを活用し、3次元領域サンプリングを効率化する。
• 各ピクセルを円盤として扱い、内接する球体を用いて適応的サンプリングを行うコーンキャスティングレンダリングを導入する。
• 3次元空間内での占有領域に基づき、サンプリング球体をTri-Mip符号化で特徴化することで、距離にわたるアンチエイリアシングを保証する。
• 消費者用GPU上で60 FPS以上のリアルタイム推論を達成するため、ハイブリッドボリューム-サーフェスレンダリング戦略を開発する。
• 浅いMLPとコンactなTri-Mip符号化を組み合わせることで、48.2 MBという小さなモデルサイズを維持しながら、高速収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 効率的再構築とアンチエイリアシングレンダリングの両方を可能にする、コンパクトな3次元表現を設計できるか？
• RQ2 高いメモリや計算コストを伴わずに、2次元ミップマップ構造を用いて事前フィルタリングされた3次元特徴を効率的にモデル化できるか？
• RQ3 事前フィルタリングされた2次元マップを用いた領域ベースのサンプリングによるコーンキャスティングが、さまざまな視点距離にわたるアリasingとぼやけを排除できるか？
• RQ4 5分未満の再構築時間と、既存のハイブリッド手法より小さいモデルサイズで、最先端のレンダリング品質を達成できるか？
• RQ5 複雑な幾何学的形状と外観を有する現実世界の撮影データに対して、提案手法はどのように性能を発揮するか？

主な発見

• Blender単一スケールデータセットにおいて、PSNR（33.65）とSSIM（0.963）で最先端の性能を達成し、MipNeRF、TensoRF、Instant-NGPを上回った。
• Instant-NGPと比較して25%のモデルサイズ削減を達成し、48.2 MBのストレージを実現した。これはハイブリッド手法の中で最小のサイズである。
• 1枚のGPUで5分未満の時間で再構築が完了し、MipNeRF（3日以上）よりもはるかに速く、Instant-NGPの5倍スーパーサンプリング版よりも速い。
• 現実世界の撮影データでは、複数視点融合によるアーティファクト低減のおかげで、細部が豊かで高精細なレンダリングを生成し、一部のケースではグランドトゥースを上回ることもあった。
• NVIDIA RTX 3060で60 FPSを超えるリアルタイムレンダリングを実現し、一般消費者用ハードウェアでも実用的であることを示した。
• 視覚的結果から、遠方視点でのアリasingや近距離でのぼやけが確認されず、領域ベースのサンプリングを用いたコーンキャスティングの有効性が裏付けられた。