[論文レビュー] A Neural Rendering Framework for Free-Viewpoint Relighting

Zhang Chen, Anpei Chen+5 more|arXiv (Cornell University)|Nov 26, 2019

Computer Graphics and Visualization Techniques参考文献 59被引用数 5

ひとこと要約

本論文は、学習可能なコンponent（環境光、物体の固有属性、光輸送関数（LTF））を通じて画像形成を明示的にモデル化することで、同時に自由視点のビュー合成とリライトを可能にするリライト可能なニューラルレンダラー（RNR）を提案する。物理ベースのレンダリングプロセスを組み込むことで、RNRは合成データおよび現実世界のデータセットの両方で、最先端の手法を上回るビュー合成およびリライト性能を達成する。

ABSTRACT

We present a novel Relightable Neural Renderer (RNR) for simultaneous view synthesis and relighting using multi-view image inputs. Existing neural rendering (NR) does not explicitly model the physical rendering process and hence has limited capabilities on relighting. RNR instead models image formation in terms of environment lighting, object intrinsic attributes, and light transport function (LTF), each corresponding to a learnable component. In particular, the incorporation of a physically based rendering process not only enables relighting but also improves the quality of view synthesis. Comprehensive experiments on synthetic and real data show that RNR provides a practical and effective solution for conducting free-viewpoint relighting.

研究の動機と目的

• 従来のニューラルレンダリング手法が画像形成を暗黙的（implicit）にモデル化しているため、リライトが困難であるという制限に対処すること。
• 制御不能な照明下でのマルチビュー画像から、高品質な新規ビュー合成とリライトを同時に実現すること。
• 照明、固有属性、光輸送の物理的に意味のあるコンponentに外見を明示的に分離することで、ビュー合成の品質を向上させること。
• 固定された照明または視点にとどまらないニューラルレンダリングの能力を、レンダリングパイプライン全体をエンド・トゥ・エンドでモデル化することで拡張すること。
• 現実世界および合成シナリオにおける自由視点リライトの実用的で効果的なソリューションを提供すること。

提案手法

• RNRは画像形成を3つの学習可能なコンponentに分解する：環境光、物体の固有属性、光輸送関数（LTF）。
• 照明、素材、輸送コンponentを統合する微分可能で物理ベースの前方投影を用いてレンダリングプロセスをモデル化する。
• LTFは従来のパラメトリックなBRDFモデルに代わるものであり、グローバルなイルミネーション効果のより正確なモデリングを可能にする。
• ビュー合成とリライトの両方を最適化するため、再構成損失、知覚損失、敵対的損失の組み合わせを用いてエンド・トゥ・エンドでネットワークを訓練する。
• RNRはSfMから得られる3Dプロキシ（例：SfM）を幾何的監視として用い、微分可能レンダリング操作を通じて深層特徴を投影する。
• 同じアーキテクチャを用いてビュー合成とリライトの両方をサポートし、学習済みの照明コンponentを操作することでリライトを実現する。

実験結果

リサーチクエスチョン

• RQ1 物理的レンダリングコンponentを明示的にモデル化することで、ニューラルレンダリングフレームワークが同時に高品質なビュー合成とリライトを達成できるか？
• RQ2 学習可能な光輸送関数（LTF）を組み込むことで、暗黙的ニューラルレンダリングと比較して、リライトの忠実度とビュー合成の品質がどの程度向上するか？
• RQ3 RNRは、スパarsなビューと不正確な幾何形状を有する現実世界のシーンにどの程度一般化できるか？
• RQ4 照明や視点条件が異なる状況下で、RNRは最先端の手法と比較して、ビュー合成およびリライトの両面でどの程度優れているか？
• RQ5 初期の照明が不完全または部分的に接合された状態であっても、RNRは一貫性のあるリライト結果を生成できるか？

主な発見

• 合成データでは、BunnyデータセットにおいてPSNRが30.87、SSIMが0.94を達成し、DeepVoxels（17.97/0.76）およびDeferredNR（24.38/0.81）を顕著に上回った。
• 現実世界のシーン（Beauty, Apple, Dyck）では、全テスト手法の中で最高のPSNRとSSIMを達成し、鋭いディテールの保持が優れており、アーチファクトも減少した。
• ビューの外挿（extrapolation）タスクでは、DeferredNRと比較してより一貫性のある結果を生成し、誤ったハイライトや色のブロックといった視覚的アーチファクトを回避した。
• 自然光下のマルチビュー物体データベースのPigシーンにおいて、低視点数と不正確なカメラパラメータという課題にもかかわらず、[54]と比較してより現実的なリライト結果を生成した。
• 不完全な環境マップに対してもRNRは頑健であることが示され、入力ビューからの環境マップの一部しか入手できない状況でも、妥当なリライトを生成できた。
• アブレーションスタディにより、再構成損失、知覚損失、敵対的損失の組み合わせが、ビュー合成およびリライトの両方で最良のパフォーマンスをもたらすことが確認された。