[論文レビュー] Learning Neural Light Fields with Ray-Space Embedding Networks

Benjamin Attal, Jia‐Bin Huang+3 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Vision and Imaging参考文献 58被引用数 11

ひとこと要約

本論文は、4次元の光線空間を可学習で補間可能な潜在空間に写像する光線空間埋め込みネットワークを用いた、新しいニューラル光線場表現を提案する。この手法により、1ピクセルあたり1回または数回のネットワーク評価で高速かつメモリ効率の良いビュー合成が可能となる。本手法は、スタンフォード光線場のような高密度の前向き視点データセットにおいて最先端の性能を達成し、特に反射や屈折といった複雑な視点依存効果において、NeRFベースの手法に比べて速度、品質、メモリ効率の面で優れている。

ABSTRACT

Neural radiance fields (NeRFs) produce state-of-the-art view synthesis results. However, they are slow to render, requiring hundreds of network evaluations per pixel to approximate a volume rendering integral. Baking NeRFs into explicit data structures enables efficient rendering, but results in a large increase in memory footprint and, in many cases, a quality reduction. In this paper, we propose a novel neural light field representation that, in contrast, is compact and directly predicts integrated radiance along rays. Our method supports rendering with a single network evaluation per pixel for small baseline light field datasets and can also be applied to larger baselines with only a few evaluations per pixel. At the core of our approach is a ray-space embedding network that maps the 4D ray-space manifold into an intermediate, interpolable latent space. Our method achieves state-of-the-art quality on dense forward-facing datasets such as the Stanford Light Field dataset. In addition, for forward-facing scenes with sparser inputs we achieve results that are competitive with NeRF-based approaches in terms of quality while providing a better speed/quality/memory trade-off with far fewer network evaluations.

研究の動機と目的

• レンダリング速度とメモリ使用量の制限を抱えるNeRFの課題を克服し、ニューラル光線場表現を学習すること。
• 高密度およびスパarsな入力光線場の両方に対して、効率的かつ高品質なビュー合成を可能にすること。
• 反射や屈折といった複雑な視点依存効果を、体積表現ではうまく捉えきれないものとしてモデル化すること。
• 従来の手法と比較して、レンダリング速度、メモリ使用量、再構成品質の間のより良いトレードオフを達成すること。
• 部分的な観測からの4次元光線空間における正確な補間を可能にする、学習可能で微分可能な表現を開発すること。

提案手法

• 4次元光線パラメータ（例：2平面パラメータライゼーション）を、学習可能で補間可能な潜在空間に写像する光線空間埋め込みネットワークを導入し、一般化および補間性能を向上させる。
• 空間を局所的な光線場に分割するマルチスケールボクセルグリッドを用いることで、スパースな入力のモデリングを向上させつつ、高速な推論を維持する。
• 局所的なアフィン変換埋め込みを導入し、局所的に線形な色レベルセットを暗黙的に促進することで、補間中のビューの一貫性を向上させる。
• 予測された新規ビューと真値ビューのピクセル単位の差異を最小化する体積レンダリング損失を用いて、ネットワークを訓練する。
• 埋め込みネットワークの表現能力を向上させるために、光線座標に位置符号化を適用する。
• 小基準長光線場では1ピクセルあたり1回のネットワーク評価でレンダリングが可能であり、大基準長光線場では数回の評価で実現できる。

実験結果

リサーチクエスチョン

• RQ1 4次元光線空間に直接ニューラル表現を学習することで、高速かつ正確なビュー合成が可能になるか？
• RQ2 反射や屈折のような複雑な視点依存効果を、ニューラル光線場で忠実にモデル化できるか？
• RQ3 直接的なNeRFスタイルの5次元放射場学習と比較して、学習可能な埋め込みネットワークが光線空間における補間品質を向上させられるか？
• RQ4 ニューラル光線場における空間分割を用いる場合、レンダリング速度、メモリ使用量、再構成品質のトレードオフはどのように変化するか？
• RQ5 提案手法は、NeRFベースおよび明示的グリッドベースの手法と比較して、速度、品質、メモリ効率の面で優れているか？

主な発見

• スタンフォード光線場データセットでは、本手法はPSNR 27.454、SSIM 0.905を達成し、速度とメモリ効率においてNeRF（PSNR: 27.928, SSIM: 0.916）を上回った。
• スパースな前向き視点シーンでは、16³グリッドを用いてPSNR 27.350、0.69 FPSの性能を達成し、同等解像度のAutoInt（PSNR: 25.531, 0.26 FPS）を上回った。
• アブレーションスタディの結果、局所的アフィン埋め込みはベースラインおよび特徴ベースの埋め込みよりも補間品質を向上させ、ビュー一貫性において最良のトレードオフを達成した。
• 32³の分割を用いることで、レンダリング時間を0.34 FPSまで短縮した一方で、高い品質（PSNR: 27.454）を維持した。これに対してNeRFは0.07 FPSであった。
• 歪んだ反射や屈折といった複雑な視点依存効果についても、競争力のある結果を達成した。標準的なNeRFではこれらがうまくモデル化されない。
• Plücker座標を用いた360°シーンへの初期結果では、本手法はAutoIntを上回ったが、色レベルセットがもはやアフィンではなくなったため、さらなる改善の余地があると考えられる。