[論文レビュー] Learning Object-Centric Neural Scattering Functions for Free-Viewpoint Relighting and Scene Composition

Hong-Xing Yu, Michelle Guo+6 more|arXiv (Cornell University)|Mar 10, 2023

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

OSFsは2D画像から累積放射伝達関数を近似することを学習し、透明度のある物体と不透明な物体の両方に対して自由視点のリライティングとシーン構成を可能にする、ニューロン的な暗黙表現に基づくオブジェクト中心の表現を用いる。

ABSTRACT

Photorealistic object appearance modeling from 2D images is a constant topic in vision and graphics. While neural implicit methods (such as Neural Radiance Fields) have shown high-fidelity view synthesis results, they cannot relight the captured objects. More recent neural inverse rendering approaches have enabled object relighting, but they represent surface properties as simple BRDFs, and therefore cannot handle translucent objects. We propose Object-Centric Neural Scattering Functions (OSFs) for learning to reconstruct object appearance from only images. OSFs not only support free-viewpoint object relighting, but also can model both opaque and translucent objects. While accurately modeling subsurface light transport for translucent objects can be highly complex and even intractable for neural methods, OSFs learn to approximate the radiance transfer from a distant light to an outgoing direction at any spatial location. This approximation avoids explicitly modeling complex subsurface scattering, making learning a neural implicit model tractable. Experiments on real and synthetic data show that OSFs accurately reconstruct appearances for both opaque and translucent objects, allowing faithful free-viewpoint relighting as well as scene composition.

研究の動機と目的

• 2D画像からのリライティングとシーン構成をサポートするフォトリアリスティックな物体外観モデリングを動機づける。
• 明示的なサブサーフェスモデルを持たない、サブサーフェース光伝搬を捉えるオブジェクト中心の表現を開発する。
• 累積放射伝達関数を学習することで自由視点のリライティングとシーン構成を実現する。
• 実世界データと合成データの両方で、透明度のある物体と不透明な物体の両方に対して有効性を示す。

提案手法

• 距離のある入射光を各空間位置の出射放射に写像する累積放射伝達関数ρを定義・モデル化する。
• （x, ω_light, ω_out）からρと密度σを予測するオブジェクト中心のニューロン散乱関数 (OSFs) で物体外観を表現する。
• 単一の遠方光源の下で撮影された多視点の2D画像からOSFsを訓練し、体積レンダリング原理とNeRF風のサンプリングを用いる。
• 透過物と不透明物を、ρを介したサブサーフェース散乱の近似によって処理し、明示的で高コストなサブサーフェース伝搬計算を回避する。
• KiloOSFでレンダリングを加速するため、物体を多数の小さなMLPに分解し、教師OSFモデルからの蒸留を行う。
• 単一の遠方光の下で複数の物体を組み合わせてOSFを適用する実用的なシーン構成アプローチを提案し、直接照明および1回反射の間接照明を含める。

実験結果

リサーチクエスチョン

• RQ1 OSFsは2D画像から不透明な物体と透明度のある物体の放射伝達を正確にモデルできるか。
• RQ2 OSFsは新規照明下で自由視点のリライティングと現実的なシーン構成をサポートするか。
• RQ3 OSFベースのリライティングは実世界データと合成データの両方で最先端の神経リライティングおよび逆レンダリング法と比べてどうか。
• RQ4 KiloOSFを用いたスケーラブルなシーンでのレンダリング速度と品質のトレードオフはどうなるか。

主な発見

• OSFsは2D画像から学習することで、透明度のある物体と不透明な物体の両方の自由視点リライティングを忠実に実現できる。
• OSFsは遠方光の下で複数の物体のシーン構成をサポートし、ベースラインと比較して説得力のある結果を生成する。
• 合成データと実データの実験では、OSFsがリライティングタスクにおいてPSNR、SSIM、LPIPSの指標でいくつかのベースラインを上回る。
• KiloOSFは多数の小さなMLPと蒸留を用いることでレンダリングを大幅に高速化し、レンダリング品質を損なわない。
• 本手法は明示的なサブサーフェース散乱積分を回避する、扱いやすい累積放射伝達の定式化を活用している。