[論文レビュー] NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields

Xiaoxue Chen, Junchen Liu+3 more|arXiv (Cornell University)|Sep 22, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

NeRRFは、物体の輪郭マスクのみを用いて、透明・鏡面反射性物体の3D再構築と新規ビュー合成を実現する2段階のニューラルレンダリングフレームワークを提案する。幾何再構築には、プログレッシブエンコーディングを用いた微分可能なマーチングテトラヘドロンを活用し、物理ベースのレイトラACINGとフレネルに基づく屈折・反射モデリングを統合することで、合成データセットおよび実世界データセットの両方で最先端のビュー合成品質を達成し、マスクアーティファクトに対しても頑健である。

ABSTRACT

Neural radiance fields (NeRF) have revolutionized the field of image-based view synthesis. However, NeRF uses straight rays and fails to deal with complicated light path changes caused by refraction and reflection. This prevents NeRF from successfully synthesizing transparent or specular objects, which are ubiquitous in real-world robotics and A/VR applications. In this paper, we introduce the refractive-reflective field. Taking the object silhouette as input, we first utilize marching tetrahedra with a progressive encoding to reconstruct the geometry of non-Lambertian objects and then model refraction and reflection effects of the object in a unified framework using Fresnel terms. Meanwhile, to achieve efficient and effective anti-aliasing, we propose a virtual cone supersampling technique. We benchmark our method on different shapes, backgrounds and Fresnel terms on both real-world and synthetic datasets. We also qualitatively and quantitatively benchmark the rendering results of various editing applications, including material editing, object replacement/insertion, and environment illumination estimation. Codes and data are publicly available at https://github.com/dawning77/NeRRF.

研究の動機と目的

• 屈折および反射による複雑な光路の変化のため、従来の手法では困難な透明・鏡面反射性物体の3D再構築とビュー合成の課題に取り組む。
• 標準的なNeRFは直線的光線を仮定しており、非ラムベール面では失敗するという限界を克服する。
• RGBデータや深度センサに依存せずに、物体の輪郭マスクのみから幾何を再構築する手法を開発する。
• ニューラルレイトランスフィールド内での一元的なフレネルベースの定式化により、屈折・反射の物理的正確なレンダリングを実現する。
• 素材編集、再ライティング、環境照明推定などの下流アプリケーションを支援する。

提案手法

• 物体の輪郭マスクから、プログレッシブエンコーディング戦略を用いた微分可能なレンダリングを組み合わせたDeep Marching Tetrahedra (DMTet) を用いて3D幾何を再構築する。
• 暗黙の表面表現を最適化するため、マスク再構築に基づく損失とアイケオナル正則化を適用する。
• スネルの法則と反射方程式を用いて非直線的光線経路をモデリングするニューラル屈折・反射フィールド（NeRRF）を導入する。
• 表面の素材特性に基づき、反射と屈折のモデリングをフレネル項を用いて統一する。
• 方向分布に沿った放射率の平均化によりアーリアスを低減し、レンダリングの滑らかさを向上させる仮想コーンスーパーサンプリング技術を採用する。
• レンダリングされたマスクとビュー合成損失からの勾配をバックプロパゲートすることで、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 屈折および反射によって生じる非直線的光線経路を扱えるように、ニューラルレンダランスフィールドを拡張することは可能か？
• RQ2 RGBまたは深度の監視なしに、輪郭マスクのみから非ラムベール物体の3D幾何を再構築することは可能か？
• RQ3 一元的なフレネルベースの定式化が、1つの微分可能なレンダリングフレームワーク内で反射と屈折をどの程度正確にモデリングできるか？
• RQ4 仮想コーンスーパーサンプリングは、高視差依存性の表面におけるアーリアスアーティファクトをどの程度効果的に低減できるか？
• RQ5 NeRRFは、実世界の透明・鏡面反射性物体に対して、素材編集、再ライティング、環境照明推定といった実用的タスクをサポートできるか？

主な発見

• NeRRFは、合成データセットおよび実世界データセットの両方で最先端の新規ビュー合成結果を達成し、ベースライン手法比で最大1.8 dBのPSNR向上を達成した。
• アブレーションスタディの結果、プログレッシブエンコーディングにより、非プログレッシブな学習と比較して、シャンファ距離が最大15%低減され、表面の滑らかさが向上した。
• 仮想コーンスーパーサンプリングにより、すべてのシーンでLPIPSが最大0.025低減され、PSNRが0.8–1.5 dB向上し、表面ノイズが顕著に低減された。
• 実世界データセットでは、Appleのカットアウトツールによる不完全なマスクに対しても、NeRRFは透明物体を正常に再構築・レンダリングでき、頑健性を示した。
• 本手法により、高品質な再ライティングと素材編集が可能となった。例えば、馬の物体を反射的から屈折的へ変更しても、物理的に整合性のあるレンダリングが得られた。
• 反射のみを用いても、Qualitativeな結果から、NeRRFは環境放射度を正確に推定できており、球体の反射から周囲の照明を推定している。