[論文レビュー] NeReF: Neural Refractive Field for Fluid Surface Reconstruction and Implicit Representation

Ziyu Wang, Wei Yang+4 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

NeReFは、3次元座標から体積密度および法線場を学習することで、流体の表面を暗黙的に表現するニューラル屈折場を提案する。これにより、屈折を考慮したビュー合成と高精度な表面再構築が可能になる。Snellの法則を直接用いて屈折をモデル化することで、NeRFおよびレイトレーシングベースラインを上回り、疎なマルチビュー入力や光学フローのノイズに対しても安定した結果を達成する。

ABSTRACT

Existing neural reconstruction schemes such as Neural Radiance Field (NeRF) are largely focused on modeling opaque objects. We present a novel neural refractive field(NeReF) to recover wavefront of transparent fluids by simultaneously estimating the surface position and normal of the fluid front. Unlike prior arts that treat the reconstruction target as a single layer of the surface, NeReF is specifically formulated to recover a volumetric normal field with its corresponding density field. A query ray will be refracted by NeReF according to its accumulated refractive point and normal, and we employ the correspondences and uniqueness of refracted ray for NeReF optimization. We show NeReF, as a global optimization scheme, can more robustly tackle refraction distortions detrimental to traditional methods for correspondence matching. Furthermore, the continuous NeReF representation of wavefront enables view synthesis as well as normal integration. We validate our approach on both synthetic and real data and show it is particularly suitable for sparse multi-view acquisition. We hence build a small light field array and experiment on various surface shapes to demonstrate high fidelity NeReF reconstruction.

研究の動機と目的

• 画像内の屈折歪みから透明な流体表面を再構築する課題に取り組む。従来の方法では光線の経路の複雑さのため、この課題に苦労している。
• 流体表面の幾何（密度および法線）と屈折挙動を同時に符号化するニューラル暗黙的表現を開発し、明示的な深度/法線マップ表現の限界を克服する。
• 学習された法線および密度場を通じて屈折効果を直接統合することで、屈折パターンの高精度でビュー一貫性のある新規ビュー合成を実現する。
• 光学フローの対応関係を用いて、大規模な実世界データセットに依存せずに、シーンごとに自己教師付きでモデルを最適化する。
• 小型のライトフィールドアレイを用いて、合成および実世界の両方の流体表面再構築において、その頑健性とスケーラビリティを示す。

提案手法

• NeReFは、完全結合型の深層ニューラルネットワークを用い、3次元座標から体積密度および表面法線への連続関数として流体表面を表現する。
• 積算された屈折点および法線に従って、Snellの法則を適用して照査される光線を屈折させ、物理的に正確な屈折シミュレーションを実現する。
• 参照パターン画像と流体下での歪んだビュー間の光学フローの対応関係を用いて、自己教師付き学習を可能にする。
• 学習済みの密度および法線場の体積統合によりビュー合成を実行し、明示的な深度マップや法線マップを必要とせずに屈折画像を直接レンダリング可能にする。
• 明示的な深度マップおよび法線マップは、事後的に体積統合により回復され、幾何的忠実性が保持される。
• 大規模な実世界データセットを必要とせず、シーンごとにエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 ニューラル暗黙的フィールドが、正確な屈折モデリングを可能にするために、流体表面の体積密度および法線を効果的に表現できるか？
• RQ2 NeReFは、従来のレイトレーシングやNeRFベースの手法と比較して、疎なマルチビュー入力からの流体表面再構築において、どの程度の性能を示すか？
• RQ3 光学フローの対応関係にノイズが含まれる場合、NeReFの性能はどの程度頑健か？
• RQ4 学習された法線および密度を通じて屈折効果を直接モデル化することで、NeReFは高精度な新規ビューを合成できるか？
• RQ5 入力カメラの数が、NeReFによる流体表面幾何再構築の精度にどのように影響するか？

主な発見

• NeReFはNeRFおよびレイトレーシングベースラインよりも顕著に低い再構築誤差を達成し、9台のカメラを用いる場合の深度RMSEは0.02252メートル、3台のカメラを用いる場合でも0.05683メートルである。
• 平均法線角度差は、9台のカメラで0.28477°から3台のカメラで0.84187°に増加し、より多くのビューが幾何的精度を向上させることを確認した。
• NeReFは光学フローのノイズに対して頑健であり、誤差が指数的ではなく線形に増加する傾向を示しており、安定した最適化が可能であることを示している。
• NeReFが生成する新規ビューは、実測値に非常に近く、元のNeRF（誤った光線幾何により失敗）および明示的な深度/法線マップからのレイトレーシング（アーチファクトを含む）よりも優れている。
• 本手法により、視点ごとに異なる歪みが正しく再現された、歪んだパターンの高精度な再レンダリングが可能である。
• NeReFモデルはコンパクト（約4MB）であり、解像度オンデマンドレンダリングをサポートしており、高解像度アプリケーションにスケーラブルである。