[論文レビュー] Fast Image-based Neural Relighting with Translucency-Reflection Modeling

Shizhan Zhu, Shunsuke Saito+4 more|arXiv (Cornell University)|Jun 15, 2023

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

本論文は、体積レンダリングを用いたニューラルリライトフレームワークを提案し、散乱を伴う半透明な物体に対して、幾何構造と放射輝度移行をエンドツーエンドで最適化する。ライトステージデータから放射輝度移行勾配を学習することで、事前定義されたBRDF/BSSRDFモデルを仮定せず、新しい照明や視点に対して最先端のPSNR性能（平均で5ポイント高い）と高精細なリライトを達成する。

ABSTRACT

Image-based lighting (IBL) is a widely used technique that renders objects using a high dynamic range image or environment map. However, aggregating the irradiance at the object's surface is computationally expensive, in particular for non-opaque, translucent materials that require volumetric rendering techniques. In this paper we present a fast neural 3D reconstruction and relighting model that extends volumetric implicit models such as neural radiance fields to be relightable using IBL. It is general enough to handle materials that exhibit complex light transport effects, such as translucency and glossy reflections from detailed surface geometry, producing realistic and compelling results. Rendering can be within a second at 800$ imes$800 resolution (0.72s on an NVIDIA 3090 GPU and 0.30s on an A100 GPU) without engineering optimization. Our code and dataset are available at https://zhusz.github.io/TRHM-Webpage/.

研究の動機と目的

• ニューラルレンダリングにおける半透明で散乱を伴う（SSS）素材のリライト問題に取り組むこと。既存手法はBRDF/BSSRDFモデル化と幾何再構築の制限により、これを処理できない。
• 特定の材料表現（BRDF や BSSRDF）を仮定せずに、新しい照明や視点条件下での高精細なリライトを可能にすること。
• エンドツーエンド学習による一括最適化により、光学的厚さの高い半透明素材の幾何再構築品質を向上させること。
• 実物の物体に顕著なSSS効果を示す大規模かつ高精細なライトステージデータセット（15TiB）を収集・公開し、今後の研究を支援すること。

提案手法

• ライトステージで異なる照明条件下で撮影された画像から、体積レンダリングを用いて放射輝度移行場を推定する。
• 放射輝度移行勾配を学習可能な場として定式化し、一元的なフレームワーク内で外観と幾何を微分可能に最適化可能にする。
• 陰影、テクスチャ、反射特性などの外観の手がかりを用いて、幾何をエンドツーエンドで精緻化し、再構築の忠実度を向上させる。
• 事前推定された表面や明示的な材料パrameterizationを必要とせず、幾何と放射輝度移行を同時に最適化する。
• 512³解像度の密度場を活用し、マーチィング・キューブスを用いて高品質なメッシュを抽出することで、ロープのような薄く複雑な構造物の正確な表現を可能にする。
• 本研究で新たに収集したライトステージデータセット（15TiB）を用いて、空間的に変化する高周波数の詳細を豊富に含むデータでフレームワークを学習する。

Figure 1 . Our approach reconstructs objects with significant subsurface scattering effects with high fidelity and inserts models into arbitrary environments for relighting. It is fully data-driven and does not assume a particular material representation (such as BRDF or BSSRDF), and can faithfully

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のニューラルリライトフレームワークは、事前定義されたBRDF や BSSRDF を仮定せず、強い体積内散乱効果を示す半透明な物体の高精細レンダリングを達成できるか？
• RQ2 幾何と放射輝度移行のエンドツーエンド最適化は、分離最適化アプローチと比較して、再構築品質とリライト品質をどのように向上させるか？
• RQ3 体積レンダリングに基づく放射輝度移行場モデルは、表面下での光透過や半透明な影といった複雑な材料挙動をどの程度処理できるか？
• RQ4 大規模かつ高精細なライトステージデータセットを用いた学習・評価により、PSNRと視覚的忠実度でどの程度の性能向上が達成可能か？

主な発見

• 提案手法は、3つのデータセットで最も優れた既存手法と比較して平均で5ポイントのPSNR向上を達成し、優れた定量的性能を示した。
• 記録済みおよび新しい照明条件下でも、視覚的に妥当で高精細なリライト結果を生成でき、石鹸や蝡蝕のような複雑な半透明素材に対しても有効であった。
• ロープのような薄く繊細な構造物を含む高品質な幾何再構築が可能であり、メッシュベース表現では困難な構造に対しても対応可能であった。
• エンドツーエンド最適化フレームワークにより、幾何と外観最適化を分離する従来手法と比較して、アーチファクトが顕著に低減された。
• 実物および合成されたSSSデータセットにおいて、IRON、InverseTranslucent、NRTFといった最先端のベースライン手法を視覚的忠実度と幾何的正確性の両面で上回った。
• 失敗事例は、鏡面反射や鋭い影の境界を処理する能力の制限を示しており、現段階のフレームワークでは鏡面反射および影のモデリングが明示的に捉えられていないことが示唆された。

Figure 2 . Despite presented with significant subsurface scattering and translucency in the scene, our approach provides the highest geometric reconstruction quality compared to other approaches (NVMC [Hasselgren et al . , 2022 ] ; NRTF [Lyu et al . , 2022 ] via Neus [Wang et al . , 2021 ] ). For ou