[論文レビュー] MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures

Zhiqin Chen, Thomas Funkhouser+2 more|arXiv (Cornell University)|Jul 30, 2022

Computer Graphics and Visualization Techniques被引用数 10

ひとこと要約

MobileNeRFは、テクスチャ付きポリゴンと軽量な視点依存MLPを用いた新しいNeRF表現を提案し、標準のグラフィックスハードウェアを介して、モバイルデバイス上でインタラクティブで高品質な新規視点合成を実現する。zバッファリングとフラグメントシェーダーを活用したポリゴンラスタライゼーションパイプラインにより、SNeRGよりも10倍速くレンダリングが可能であり、メモリ使用量も少なく、Webブラウザや統合GPUでも動作する。

ABSTRACT

Neural Radiance Fields (NeRFs) have demonstrated amazing ability to synthesize images of 3D scenes from novel views. However, they rely upon specialized volumetric rendering algorithms based on ray marching that are mismatched to the capabilities of widely deployed graphics hardware. This paper introduces a new NeRF representation based on textured polygons that can synthesize novel images efficiently with standard rendering pipelines. The NeRF is represented as a set of polygons with textures representing binary opacities and feature vectors. Traditional rendering of the polygons with a z-buffer yields an image with features at every pixel, which are interpreted by a small, view-dependent MLP running in a fragment shader to produce a final pixel color. This approach enables NeRFs to be rendered with the traditional polygon rasterization pipeline, which provides massive pixel-level parallelism, achieving interactive frame rates on a wide range of compute platforms, including mobile phones.

研究の動機と目的

• モバイルおよび低消費電力デバイス上でリアルタイムで高品質な新規視点合成が可能なNeural Radiance Fieldsの実現。
• 一般的なグラフィックスハードウェアを活用することで、従来のNeRFおよびSNeRGのパフォーマンスとメモリ制限を克服すること。
• ボリュメトリックレンダリングの代わりに、標準のラスタライゼーションパイプラインを採用し、画素レベルの並列処理を大幅に向上させること。
• シンプルな三角ポリゴンメッシュ表現を用いて、3Dシーンのインタラクティブな操作を可能にすること。
• GPUメモリや電力が限られた環境でもデプロイ可能なWebブラウザやデバイスへの対応。

提案手法

• テクスチャに二値の透過度と特徴ベクトルを格納するテクスチャ付きポリゴンの集合としてNeRFを表現する。
• zバッファリングを用いた標準的なポリゴンラスタライゼーションにより、レイマーチングや深度ソートを用いずに、画素ごとの特徴ベクトルを効率的に計算する。
• ラスタライズされた特徴ベクトルを、GLSLフラグメントシェーダー内に配置された小さな視点依存MLPに渡し、最終的な画素カラーを予測する。
• 3段階の訓練プロセスを採用：初期メッシュ最適化（通常のグリッドを用いて）、透過度のための擬似勾配を用いた最適化、特徴およびカラーネットワークのファインチューニング。
• アーリアシングアーティファクトを低減し、視覚的品質を向上させるために、レンダリング時にスーパーサンプリングを適用する。
• 訓練中に不可視セルをプルーニングするために加速度グリッドを用い、より大きなバッチサイズと高速な収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 レイマーチングではなく、標準的なグラフィックスラスタライゼーションパイプラインを用いて、NeRF表現を効率的にレンダリングできるか？
• RQ2 このような表現が、モバイルおよび低性能デバイスでもリアルタイムパフォーマンスを達成できるか？
• RQ3 ボリュメトリックテクスチャを表面テクスチャに置き換えることで、メモリ使用量を削減しながらも画像品質を維持できるか？
• RQ4 フラグメントシェーダー内に配置された軽量なMLPが、反射のような視点依存効果を効果的にモデル化できるか？
• RQ5 シンプルなメッシュインターフェースを通じて、3Dシーンのインタラクティブエディットをサポートできるか？

主な発見

• MobileNeRFは、標準のテストシーンにおいてSNeRGよりも10倍速いレンダリングを実現しながら、同等の画像品質を維持している。
• ボリュメトリックテクスチャの代わりに表面テクスチャを格納することで、メモリ使用量を削減し、統合GPUの限られたメモリでもデプロイ可能になっている。
• 標準のグラフィックスAPIに依存しているため、Webブラウザおよびすべてのテスト済みデバイス（スマートフォンを含む）で動作する。
• スーパーサンプリングと視点依存MLPが視覚的品質に最も大きな影響を与え、これらを削除すると顕著なアーリアシングとパフォーマンス低下が生じる。
• モデルは、合成シーンにおける物体の編集（例：枝を曲げる、角を削除する）をインタラクティブに実行できるため、3Dシーンのリアルタイム操作をサポートしている。
• アブレーションスタディーにより、メッシュ頂点の最適化と透過度のための擬似勾配の使用が、高いパフォーマンスを達成するために不可欠であることが確認された。