[論文レビュー] RT-NeRF: Real-Time On-Device Neural Radiance Fields Towards Immersive AR/VR Rendering

Chaojian Li, Sixu Li+3 more|arXiv (Cornell University)|Dec 2, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

RT-NeRFは、AR/VRにおけるリアルタイム・オンデバイスNeural Radiance Fields（NeRF）レンダリングのための、初めてのアルゴリズム・ハードウェア共同最適化フレームワークを提案する。スパースな事前存在するポイントと埋め込みを、ハイブリッド符号化方式と特化したハードウェアユニットを活用することで、SOTA手法と比較して最大3,201倍の高速化と4,002倍のエネルギー効率向上を達成しながら、高いレンダリング品質を維持する。

ABSTRACT

Neural Radiance Field (NeRF) based rendering has attracted growing attention thanks to its state-of-the-art (SOTA) rendering quality and wide applications in Augmented and Virtual Reality (AR/VR). However, immersive real-time (> 30 FPS) NeRF based rendering enabled interactions are still limited due to the low achievable throughput on AR/VR devices. To this end, we first profile SOTA efficient NeRF algorithms on commercial devices and identify two primary causes of the aforementioned inefficiency: (1) the uniform point sampling and (2) the dense accesses and computations of the required embeddings in NeRF. Furthermore, we propose RT-NeRF, which to the best of our knowledge is the first algorithm-hardware co-design acceleration of NeRF. Specifically, on the algorithm level, RT-NeRF integrates an efficient rendering pipeline for largely alleviating the inefficiency due to the commonly adopted uniform point sampling method in NeRF by directly computing the geometry of pre-existing points. Additionally, RT-NeRF leverages a coarse-grained view-dependent computing ordering scheme for eliminating the (unnecessary) processing of invisible points. On the hardware level, our proposed RT-NeRF accelerator (1) adopts a hybrid encoding scheme to adaptively switch between a bitmap- or coordinate-based sparsity encoding format for NeRF's sparse embeddings, aiming to maximize the storage savings and thus reduce the required DRAM accesses while supporting efficient NeRF decoding; and (2) integrates both a dual-purpose bi-direction adder & search tree and a high-density sparse search unit to coordinate the two aforementioned encoding formats. Extensive experiments on eight datasets consistently validate the effectiveness of RT-NeRF, achieving a large throughput improvement (e.g., 9.7x - 3,201x) while maintaining the rendering quality as compared with SOTA efficient NeRF solutions.

研究の動機と目的

• 商業用AR/VRデバイスに実装されたNeRFベースのシステムにおける低スループットが原因となる深刻なボトル neck を解消すること。
• SOTA NeRF手法における非効率の主な原因が、均一なポイントサンプリングと密度の高い埋め込み計算であることを同定すること。
• 統合的なアルゴリズム的およびハードウェア的イノベーションを通じて、リアルタイム（30+ FPS）のオンデバイスNeRFレンダリングを可能にすること。
• スパースなNeRF埋め込みを効率的にデコードするための、適応的符号化フォーマットを用いたハードウェアアクセラレータを共同設計すること。
• 遅延とエネルギー消費を大幅に削減しながらも、高いレンダリング品質（PSNR）を維持すること。

提案手法

• 均一なポイントサンプリングを回避するため、占有グリッド内の非ゼロキューブから直接ジオメトリを計算する効率的なレンダリングパイプラインを導入する。
• 不可視ポイントの処理を回避するため、粗い粒度の視点依存レンダリング順序を採用する。
• 埋め込みのスパarsity（低 vs. 高）に応じて、ビットマップ形式と座標ベース形式の間で動的に切り替わるハイブリッド符号化方式を設計する。
• 効率的なデコードを実現するため、2つの符号化フォーマット間を調整する二重用途のバイディレクショナルアダー＆サーチツリーを開発する。
• スパースデコード処理中の計算の空き時間を最小限に抑えるために、高密度のスパースサーチユニットを統合する。
• 事前存在するポイントとグリッド埋め込みの両方におけるスパarsityを共同で活用するため、アルゴリズムとハードウェアを共同で最適化する。

実験結果

リサーチクエスチョン

• RQ1 商業用AR/VRデバイスに実装されたSOTA効率的NeRFアルゴリズムにおいて、主なパフォーマンスボトル neck は何か？
• RQ2 アルゴリズム最適化は、事前存在するポイントと埋め込みのスパarsityをどのように活用することでレンダリング遅延を低減できるか？
• RQ3 アルゴリズムと共同で設計されたハードウェアアクセラレータは、オンデバイスNeRFレンダリングのスループットとエネルギー効率を最大化できるか？
• RQ4 アルゴリズム・ハードウェア共同最適化は、エッジデバイスでリアルタイム（30+ FPS）のNeRF推論をどの程度達成できるか？ また、SOTAレンダリング品質を維持できるか？
• RQ5 ハイブリッド符号化方式は、埋め込みスパarsity比が4%から92%に変動する範囲で、どのようにストレージ節約とデコード効率のバランスを適応的にとるか？

主な発見

• RT-NeRFは、8つのSynthetic-NeRFデータセットにおいて、ジャイロスナノなどのベースラインエッジデバイスと比較して最大3,201倍の高速化と4,002倍のエネルギー効率向上を達成した。
• NVIDIA 2080TiなどのハイエンドGPUでも、同じアルゴリズムをGPU上で実行した場合に比べ24倍の高速化を達成しており、ハードウェアアクセラレーションの恩恵が裏付けられた。
• アルゴリズムは高いレンダリング品質を維持しており、8つのデータセット全体で平均PSNRが31.79に達した。これはSOTA手法のTensoRFと比較してわずか0.21低い水準であった。
• ハイブリッド符号化方式は、埋め込みスパarsity比が4%から92%にわたる範囲で、DRAMアクセスを効果的に削減した。
• 二重用途のバイディレクショナルアダー＆サーチツリー部は、ビットマップ形式と座標ベース形式の間での効率的な調整を可能にし、デコード遅延を低減した。
• 粗い粒度の視点依存レンダリング順序により、不可視ポイントに対する不要な計算が削減され、全体の効率向上に寄与した。