[論文レビュー] Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images

Sai Bi, Zexiang Xu+5 more|arXiv (Cornell University)|Jul 20, 2020

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

本稿では、スマートフォンで撮影された非構造的マルチビュー・フラッシュ画像から、高精細な3Dシーンの幾何構造と外観を再構築するためのディーブラーレフレクタンスボリューム（Deep Reflectance Volumes）というディープラーニングフレームワークを提案する。透過率、表面法線、空間的に変化する反射率（アルベド、粗さ）のボリューム表現を学習し、微分可能で物理的に妥当なレイマーチングレンダラを用いることで、任意の照明下での写真同等の新規ビュー合成と再照明が可能となり、メッシュベースのベースラインを上回る性能を示す。また、直感的な材質編集も可能である。

ABSTRACT

We present a deep learning approach to reconstruct scene appearance from unstructured images captured under collocated point lighting. At the heart of Deep Reflectance Volumes is a novel volumetric scene representation consisting of opacity, surface normal and reflectance voxel grids. We present a novel physically-based differentiable volume ray marching framework to render these scene volumes under arbitrary viewpoint and lighting. This allows us to optimize the scene volumes to minimize the error between their rendered images and the captured images. Our method is able to reconstruct real scenes with challenging non-Lambertian reflectance and complex geometry with occlusions and shadowing. Moreover, it accurately generalizes to novel viewpoints and lighting, including non-collocated lighting, rendering photorealistic images that are significantly better than state-of-the-art mesh-based methods. We also show that our learned reflectance volumes are editable, allowing for modifying the materials of the captured scenes.

研究の動機と目的

• 消費者向け機器で撮影された非構造的マルチビュー・フラッシュ画像を用いて、高品質で実用的な3Dシーン再構築と再照明を可能にすること。
• メッシュベースの再構築手法が非ラムベールト性およびテクスチャの欠落する領域で抱える限界を克服するため、シーンの幾何構造と反射率をボリューム表現として学習すること。
• 任意の照明および視点での新規ビュー合成と再照明を可能とし、非一致照明配置を含む環境にも適応できること。
• 学習済みボリューム表現における幾何構造と反射率の分離を実現し、直感的な材質編集を可能とすること。
• ボリュームネットワークにおけるディーププライアを組み込むことで、直接ボクセル最適化に比べ、最適化の安定性と一般化性能が向上することを示すこと。

提案手法

• 本手法は、マルチビュー・フラッシュ画像から、透過率、表面法線、アルベド、粗さのボリューム表現を学習する3次元ボリューム表現を学習する。
• 深層ニューラルネットワークが学習済み符号化ベクトルからシーンの幾何構造と反射率を復元し、ネットワークパラメータは個々のシーンごとに最適化される。
• 微分可能で物理的に妥当なボリュームレイマーチングレンダラが、局所的な法線と反射率を用いてシェーディングを計算し、視点および光源方向からのレイに沿って色と透過率を累積する。
• 透過率はグローバルに学習され、訓練画像に影が存在しなくても、新規照明下での正確なハードシャドウの再現が可能である。
• 反射率ボリュームは、スペキュラリティーやグロスネスといった、視点および光源依存の効果を空間的に変化させる表現を可能とし、従来の単一色のボクセルを用いる手法とは異なり、より高精度な表現を実現する。
• 最適化は、訓練中におけるレンダリング画像と撮影画像のピixe単位の再構築誤差を最小化するものであり、推論段階では自由な視点および照明制御が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、非ラムベールト性の反射とオクルージョンを有する複雑な実シーンを、スマートフォンで撮影された非構造的フラッシュ画像から再構築可能か？
• RQ2 学習済み透過率、法線、反射率を有するボリューム表現は、任意の照明および視点下での正確な再照明を可能とするか？
• RQ3 微分可能で物理的に妥当なボリュームレンダリングフレームワークは、メッシュベースの手法に比べ、ビュー合成および再照明品質で優れているか？
• RQ4 学習済みの反射率ボリュームは、幾何構造や色を変更せずに、直感的な材質編集を可能とするか？
• RQ5 ディーププライアを組み込むことで、直接ボクセル最適化に比べ、最適化の収束性と一般化性能が向上するか？

主な発見

• 本手法は、特にスペキュラリティーや影、非ラムベールト材質の処理において、最先端のメッシュベース手法に比べ顕著に優れた写真同等のレンダリング品質を達成した。
• 200枚の訓練画像を用いた場合、385枚の全画像セットと同等のPSNRおよびSSIMを達成しており、中程度の入力削減に対しても頑健であることが示された。
• 100枚未満の訓練画像では、幾何的および光度的制約が不足するため、性能が顕著に低下した。
• ディーププライアに基づく最適化は、直接ボクセル最適化に比べて著しく高速に収束した。これは、ネットワークアーキテクチャに内在するインダクティブバイアスの有効性を示している。
• 粗さボリュームの編集により、元のシーンに存在しなかったリアルなグロス効果を再現でき、材質編集が成功した。
• 学習済みの反射率ボリュームは幾何構造と反射率を分離しており、他のシーン特性に影響を与えることなく、特定の成分のみを編集可能である。