[論文レビュー] Object-Centric Neural Scene Rendering

Michelle Guo, Alireza Fathi+2 more|arXiv (Cornell University)|Dec 15, 2020

Computer Graphics and Visualization Techniques参考文献 47被引用数 56

ひとこと要約

本論文は、個別物体ごとの光伝搬を用いた体積パス追跡を組み合わせてフォトリアリスティックな動的シーンをレンダリングするオブジェクト中心ニューラル散乱関数（OSF）を提案し、新しい照明下での再訓練不要なシーン合成を実現する。

ABSTRACT

We present a method for composing photorealistic scenes from captured images of objects. Our work builds upon neural radiance fields (NeRFs), which implicitly model the volumetric density and directionally-emitted radiance of a scene. While NeRFs synthesize realistic pictures, they only model static scenes and are closely tied to specific imaging conditions. This property makes NeRFs hard to generalize to new scenarios, including new lighting or new arrangements of objects. Instead of learning a scene radiance field as a NeRF does, we propose to learn object-centric neural scattering functions (OSFs), a representation that models per-object light transport implicitly using a lighting- and view-dependent neural network. This enables rendering scenes even when objects or lights move, without retraining. Combined with a volumetric path tracing procedure, our framework is capable of rendering both intra- and inter-object light transport effects including occlusions, specularities, shadows, and indirect illumination. We evaluate our approach on scene composition and show that it generalizes to novel illumination conditions, producing photorealistic, physically accurate renderings of multi-object scenes.

研究の動機と目的

• Moving objects and lighting のもとでフォトリアリスティックな動的シーンのレンダリングの課題を動機づける。
• シーン間で再利用可能な、視点と光に依存する個別物体の散乱表現を提案する。
• 物体内散乱と物体間伝播を捉えるために、個別物体の散乱を体積パス追跡と統合する方法を示す。
• 再訓練なしで新しい照明と物体配置を用いたシーン合成を実証する。
• 新しい照明、物体配置、環境マップへの対する generalization を評価する。

提案手法

• 各物体を (x, y, z, 入射方向, 出射方向) を密度と散乱分率へ写像する7次元のオブジェクト中心ニューラル散乱関数（OSF）として表現する。
• 高周波変動を捉えるために位置エンコーディングを適用し、OSFをMLPで近似する。
• シーンの配置に依存せず、物体の正準フレームでOSFを訓練し、逆変換を介してシーン間で再利用可能とする。
• OSFを体積パス追跡と統合して、物体内伝搬（物体内の光伝搬）と物体間伝搬（物体間の光伝搬）をモデル化する。
• 光源、カメラ、物体の動作を再訓練なしでサポートするレイサンプリング、直接照明、影、および物体スケールのレイサンプル上のモンテカルロパス追跡による間接照明をレンダリングする。
• 再訓練不要で動く光源・カメラ・物体をサポートするレンダリングパイプラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 OSFを物体ごとに学習させることで、再訓練なしに新しい照明と物体配置へ一般化できるか。
• RQ2 OSFと体積パス追跡の組み合わせは、多物体シーンにおける影と間接照明の再現性をどれくらい高めるか。
• RQ3 物体ごとの分解は、動く光源と物体を用いた現実的なシーン合成を可能にするか。
• RQ4 動的照明シナリオにおけるNeRFベースのベースラインと比較した性能とレンダリング品質のトレードオフはどの程度か。

主な発見

データセット	手法	PSNR	SSIM	LPIPS
Furniture-Single	o-NeRF [23]	33.22	0.980	0.021
Furniture-Single	OSF (ours)	44.07	0.998	0.002
Furniture-Random	NeRF [23]	12.17	0.690	0.280
Furniture-Random	o-NeRF + S [23]	14.70	0.697	0.267
Furniture-Random	OSF (Ours)	19.02	0.793	0.135

• OSFは、単一物体の novel illumination に対して o-NeRF よりも高い PSNR およびほぼ完璧に近い SSIM、低い LPIPS を達成（PSNR 44.07 vs 33.22; SSIM 0.998 vs 0.980; LPIPS 0.002 vs 0.021）。
• ランダム照明下のシーン合成では、OSF は NeRF ベースラインより優れている（PSNR 19.02 vs 12.17; SSIM 0.793 vs 0.690; LPIPS 0.135 vs 0.280）。
• OSF はベースライン手法には欠如している物体間の影と間接照明をレンダリングできる。
• 環境マップを含む複雑な照明に対応し、色の色調・物体間光伝搬効果が妥当になる。
• アブレーションにより、影と間接照明を含む完全なOSFが最も現実的なレンダリングを生み出すことが示された。