[論文レビュー] Multiview Neural Surface Reconstruction with Implicit Lighting and Material

Lior Yariv, Yoni Kasten+5 more|arXiv (Cornell University)|Mar 22, 2020

Computer Graphics and Visualization Techniques参考文献 35被引用数 11

ひとこと要約

本論文では、3次元表面幾何、カメラパラメータ、および多様な照明や素材を暗黙的にモデル化可能なニューラルレンダラを同時に学習するニューラルネットワークを提案する。幾何をゼロレベル集合として表現し、レンダリング方程式から導出された微分可能レンダラを用いることで、DTU MVSデータセットにおいて高精細で詳細な3次元再構成を実現し、最先端の性能を達成した。

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

研究の動機と目的

• 変動する照明および素材条件下でのマルチビュー3次元表面再構成の課題に対処すること。
• エンドツーエンド微分可能なフレームワーク内で、未知の幾何、カメラパラメータ、およびニューラルレンダラを同時に最適化すること。
• ノイズの多いカメラ初期化を伴う実世界の画像から高精細な3次元再構成を可能にすること。
• 明示的な事前知識を必要とせず、多様な照明条件および素材特性を暗黙的にモデル化すること。

提案手法

• 幾何をニューラルネットワークのゼロレベル集合として表現することで、暗黙的な表面再構成を可能にする。
• レンダリング方程式から導出されたニューラルレンダラを用い、表面からカメラへの光伝搬をモデル化する。
• DTU MVSデータセットのマルチビュー画像を用い、変化する素材および照明条件下でエンドツーエンドに学習する。
• トレーニング中に幾何および素材表現と併せてカメラパラメータも同時に最適化する。
• 学習されたニューラル表現を通じて、素材特性および照明を暗黙的にモデル化する。
• 微分可能レンダリングにより、レンダリングプロセスを介した逆誤差伝搬が可能となり、共同最適化が実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、マルチビュー3次元再構成のための幾何、カメラパラメータ、およびニューラルレンダラを同時に最適化できるか？
• RQ2 照明および素材の暗黙的モデル化は、明示的または固定されたモデルと比較して再構成の忠実度をどの程度向上させるか？
• RQ3 ノイズの多いカメラ初期化および実世界の画像の変動に対して、この手法はどの程度耐性を示せるか？
• RQ4 素材および照明の暗黙的表現は、より現実的で詳細な再構成をもたらすか？
• RQ5 DTU MVSなどのベンチマークデータセットにおいて、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• 本手法は、DTU MVSデータセットにおいて、最先端の3次元表面再構成品質を達成した。
• ノイズの多いカメラ初期化が与えられても、高精細で高解像度の再構成が得られた。
• 多様な素材特性および照明条件にわたり、効果的に一般化した。
• 暗黙的なニューラルレンダラにより、複雑な光-表面相互作用の正確なシミュレーションが可能になった。
• 幾何、カメラ、レンダリングの共同最適化により、再構成の詳細さと正確性が向上した。