[論文レビュー] Towards a Robust Framework for NeRF Evaluation

Adrian Azzarelli, Nantheera Anantrasirichai+1 more|arXiv (Cornell University)|May 29, 2023

Visual perception and processing mechanisms被引用数 4

ひとこと要約

本稿では、ニューラルレンダリングネットワークをフルパイプラインから分離し、メッシュベースの表現に対するレイキャスティングを用いて正確なグランドトゥルースを生成することで、Neural Radiance Fields (NeRFs) のためのロバストでパrametricな評価フレームワークを提案する。このフレームワークは、全シーン平均予測誤差（WAPE）指標とタスクの複雑さを測る指標を導入し、PSNR などの従来の指標よりも優れた客観的評価を実現した。SIREN が WAPE と視覚的品質の両面で最高のパフォーマンスを示した。

ABSTRACT

Neural Radiance Field (NeRF) research has attracted significant attention recently, with 3D modelling, virtual/augmented reality, and visual effects driving its application. While current NeRF implementations can produce high quality visual results, there is a conspicuous lack of reliable methods for evaluating them. Conventional image quality assessment methods and analytical metrics (e.g. PSNR, SSIM, LPIPS etc.) only provide approximate indicators of performance since they generalise the ability of the entire NeRF pipeline. Hence, in this paper, we propose a new test framework which isolates the neural rendering network from the NeRF pipeline and then performs a parametric evaluation by training and evaluating the NeRF on an explicit radiance field representation. We also introduce a configurable approach for generating representations specifically for evaluation purposes. This employs ray-casting to transform mesh models into explicit NeRF samples, as well as to "shade" these representations. Combining these two approaches, we demonstrate how different "tasks" (scenes with different visual effects or learning strategies) and types of networks (NeRFs and depth-wise implicit neural representations (INRs)) can be evaluated within this framework. Additionally, we propose a novel metric to measure task complexity of the framework which accounts for the visual parameters and the distribution of the spatial data. Our approach offers the potential to create a comparative objective evaluation framework for NeRF methods.

研究の動機と目的

• NeRF の信頼性の高い客観的評価手法の欠如に応じ、現在のところ主観的評価と従来の画像品質指標に依存している点を是正すること。
• レンダリング性能の正確なパrametricな評価を可能とするために、ニューラルレンダリングネットワークをフル NeRF パイプラインから分離すること。
• メッシュモデルへのレイキャスティングを用いた、設定可能なグランドトゥルース合成法を構築し、高精度な放射場のサンプルを生成すること。
• 色と密度フィールド全体にわたる予測精度を定量化する新しい全シーン平均予測誤差（WAPE）指標を導入すること。
• 視界の分布、入力サンプル数、アルゴリズムの複雑さを考慮したタスクの複雑さ指標を定義し、学習の難易度をより適切に反映すること。

提案手法

• フレームワークはニューラルレンダリングネットワークをフル NeRF パイプラインから分離し、レンダリング部の独立評価を可能にする。
• グランドトゥルースは、三角形または長方形のメッシュモデルをレイキャスティングおよびレイシャーディングにより明示的な NeRF サンプルに変換することで合成する。
• 全シーン平均予測誤差（WAPE）は、すべてのレイに対して予測値とグランドトゥルースの色および密度値との平均絶対誤差として計算される。
• 入力サンプル数、トレーニングおよび新規視点の空間的分布、レイトレーシングアルゴリズムの機能的複雑さを組み合わせたタスクの複雑さ指標を提案する。
• 入力および出力の定義を適切に変更することで、NeRF と深度方向の暗黙的ニューラル表現（INRs）の両方の評価をサポートする。
• NeRFStudio 互換のコードを用いてフレームワークを検証し、交差するメッシュを含む合成シーン上で、ReLU、SIREN、WIRE、GARF などの複数の活性化関数でテストした。

Figure 1 : Our proposed framework for evaluation. The Target Network is the rendering network generating NeRF colour and density fields. The data synthesis employs the Mesh to NeRF and Ray Shading modules to input the target network and to evaluate the colour and density predictions, respectively. F

実験結果

リサーチクエスチョン

• RQ1 フルパイプラインの誤差蓄積とは独立して、NeRF レンダリング性能をどのように客観的に評価できるか？
• RQ2 提案された WAPE 指標は、PSNR などの従来の指標よりも、レンダリング精度をどの程度よく反映しているか？
• RQ3 メッシュから NeRF へのレイキャスティングに基づく設定可能なグランドトゥルース合成法は、信頼性が高く、高品質な参照データを生成できるか？
• RQ4 視点の分布と入力サンプル数によって定義されるタスクの複雑さは、INRs や NeRF の学習難易度にどのように影響するか？
• RQ5 活性化関数（例：SIREN、ReLU）の中で、提案された評価フレームワーク下で、最も正確で安定した予測を達成するのはどれか？

主な発見

• SIREN は WAPE スコアが 0.092 ± 0.017 と最低を記録し、ReLU（0.101 ± 0.024）、WIRE（0.109 ± 0.021）、GAUSS（0.185 ± 0.019）を上回り、優れた予測精度を示した。
• PSNR が 44.0 ± 9.6 と高いにもかかわらず、ReLU+エンコーダ法はノイズの多い予測を出し、正確な幾何配置の再現に苦労した。これは PSNR が空間的精度を捉える能力に限界があることを示している。
• ガウス法は高い PSNR（42.3 ± 6.0）を達成したが、WAPE は顕著に高く（0.185 ± 0.019）なっており、PSNR が適切にペナルティを科さない部分を過小評価していることが示された。
• SIREN は特に高周波数領域で滑らかで構造的な視覚的推定を生成し、WAPE の優れた性能と整合的であった。
• 提案されたタスクの複雑さ指標は、トレーニング視点と新規視点の空間的整合性が高まると学習難易度の差を的確に捉えており、有効であった。
• 従来の指標（例：PSNR）は誤解を招く可能性がある一方で、WAPE はレンダリング品質のより信頼性の高い客観的測定を提供することがフレームワークによって示された。

Figure 2 : Example of a NeRF volumetric sample using Equation 1 to render volume samples falling along the same ray