[論文レビュー] Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image

Zhengqin Li, Mohammad Shafiei+3 more|arXiv (Cornell University)|May 7, 2019

Computer Graphics and Visualization Techniques参考文献 5被引用数 16

ひとこと要約

本稿では、複雑な屋内シーンの1枚のRGB画像から形状、空間的に変化する照明、空間的に変化するBRDFを再構築する深層逆レンダリングフレームワークを提案する。物理ベースのGPUレンダラーと微分可能レンダリング、SVSG照明を組み合わせることで、共同再構築において最先端の性能を達成し、オブジェクト挿入や素材編集といったフォトリッチな応用が可能になる。

ABSTRACT

We propose a deep inverse rendering framework for indoor scenes. From a single RGB image of an arbitrary indoor scene, we create a complete scene reconstruction, estimating shape, spatially-varying lighting, and spatially-varying, non-Lambertian surface reflectance. To train this network, we augment the SUNCG indoor scene dataset with real-world materials and render them with a fast, high-quality, physically-based GPU renderer to create a large-scale, photorealistic indoor dataset. Our inverse rendering network incorporates physical insights -- including a spatially-varying spherical Gaussian lighting representation, a differentiable rendering layer to model scene appearance, a cascade structure to iteratively refine the predictions and a bilateral solver for refinement -- allowing us to jointly reason about shape, lighting, and reflectance. Experiments show that our framework outperforms previous methods for estimating individual scene components, which also enables various novel applications for augmented reality, such as photorealistic object insertion and material editing. Code and data will be made publicly available.

研究の動機と目的

• 形状、照明、反射率が1枚の画像に混在する複雑な屋内シーンにおける、不定な逆レンダリング問題に対処すること。
• 1枚のRGB画像から、幾何学、空間的に変化する照明、非ラムベール的素材といったシーンの構成要素を包括的に同時に再構築できること。
• 単一の物体や均一な照明に限定された従来の手法の制限を克服すること。
• SUNCGに高品質な実世界の素材を追加し、物理ベースのGPUレンダラーでレンダリングすることで、大規模かつフォトリッチな合成データセットを構築すること。
• 光の伝搬効果（遮蔽や相互反射など）を空間的に変化する球面ガウス関数でモデル化する、微分可能でネットワーク内に統合されたレンダリング層を開発すること。

提案手法

• 深層畳み込みニューラルネットワークの段階的スタックを用いて、アルベド、法線、粗さ、深度、照明の予測値を繰り返し精錬する。
• 微分可能レンダリング層が、空間的に変化する球面ガウス関数（SVSG）を用いてシーンの放射度を計算し、局所的な光伝搬効果を考慮する。
• トレーニングデータセットは、SUNCGの素材を実世界の3D素材データセットからのフォトレアリストなSVBRDFに置き換え、深層特徴を介してシーンの意味を保持する形で合成される。
• 出力のフォトリッチネスを保証するため、知覚的、幾何学的、反射率的、レンダリング的損失を含むマルチコンponent損失関数でネットワークをトレーニングする。
• 最終予測の空間的整合性を向上させ、アーチファクトを低減するために、精錬段階でバイラテラルソルバーを適用する。
• データ拡張と順序反射率の監視を用いて、合成データと実データを混合した状態で、実データセット（IIWおよびNYU）でのファインチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 複雑な屋内シーンの1枚のRGB画像から、深層ニューラルネットワークが形状、空間的に変化する照明、空間的に変化するBRDFを同時に再構築できるか？
• RQ2 光の伝搬やBRDFモデルといった物理的事前知識を、深層学習フレームワークに統合することで、再構築品質と一般化性能を向上させられるか？
• RQ3 実世界の素材と物理ベースレンダリングで拡張された合成データセットは、実画像への一般化にどの程度寄与できるか？
• RQ4 微分可能レンダリング層は、高周波数の照明や影の効果を保持したエンドツーエンドの学習を可能にするか？
• RQ5 段階的構造と繰り返し精錬を用いることで、逆レンダリングの各コンponentの精度はどの程度向上するか？

主な発見

• 提案手法は、合成データおよび実データにおける定量的指標で、形状、照明、反射率の各シーンコンponentの推定において、従来の最先端手法を上回る性能を達成した。
• ネットワークは、光沢のある鏡面反射物体に対しても、現実的な影や相互反射を再現するフォトリッチな仮想オブジェクト挿入を実現した。
• 表面素材を置き換えることで素材編集を成功させ、鏡面ハイライトを含む正しい照明相互作用を維持した。
• 実データセット（IIWおよびNYU）でのファインチューニングにより、合成データで学習したにもかかわらず、実世界の画像に対しても高品質な結果を生成する一般化性能が向上した。
• 空間的に変化する球面ガウス関数（SVSG）の使用により、高周波数の照明と複雑な光伝搬（遮蔽や相互反射を含む）の正確なモデリングが可能になった。
• 微分可能レンダリング層により、レンダリングプロセスを介したバックプロパゲーションが可能になり、幾何学、反射率、照明の共同最適化が実現された。