[論文レビュー] Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance

Lior Yariv, Yoni Kasten+5 more|arXiv (Cornell University)|Mar 22, 2020

Computer Graphics and Visualization Techniques参考文献 60被引用数 145

ひとこと要約

IDRは未知の幾何をニューラルSDFとして同時に学習し、外観とカメラパラメータをマスクされた2D画像から推定するエンドツーエンドのニューラルアーキテクチャを提供し、高忠実度のマルチビュー表面再構成を実現します。

ABSTRACT

In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.

研究の動機と目的

• 未知のカメラを含むマスクされた2D画像からのマルチビュー3D表面再構成を動機づけ、解決する。
• 幾何学をニューラルネットワークのゼロレベルセット（SDF）として表現し、柔軟な表面を実現する。
• さまざまな照明と材質の下で表面外観をモデル化するニューラルレンダラを学習する。
• 頑健な再構成のためにカメラパラメータを微分可能レンダリングプロセスに組み込む。
• 実世界データセットとノイズのあるカメラ初期値を用いて、水密性が高く高詳細な3D表面を実現する。

提案手法

• 幾何をゼロレベルセットSDF f(x; theta)として表現し、暗黙的な幾何学的正則化を適用する。
• BRDFと照明をエンコードする微分可能な順伝搬モデル L_p = M(xhat, nhat, zhat, v; gamma) を用いてピクセルカラーを計算する。
• 射線-幾何交差を微分可能な定式化（Eq. 3）に統合し、表面法線を grad f から導く。
• レンダラ M にグローバルな照明推論を可能にするグローバル幾何特徴 z を組み込む。
• M が表面法線と視線方向に依存することを保証し、幾何と外観を分離する（PP-universality）。
• RGBとマスク損失、さらに Eikonal に基づく表面正則化を用いて訓練し、未知のカメラパラメータ tau を扱う。

実験結果

リサーチクエスチョン

• RQ1 カメラ姿勢が未知またはノイズを含む場合に、IDRはマスクされた2D画像から正確な3D幾何を回復できるか？
• RQ2 表面法線をニューラルレンダラに組み込むことは、適切な幾何と外観の分離を達成するために必要か？
• RQ3 多様な材質と照明を備えた実世界データセットにおいて、IDRは最先端のベースラインと比較してどのように性能を示すか？
• RQ4 さまざまな照明下で、モデルは水密な表面と忠実なレンダリングを生成できるか？

主な発見

• IDRは実世界のDTUデータで、高忠実度・高解像度・詳細を備えた最先端の3D表面再構成を達成する。
• DVR、Colmap、Furu を含むベースラインを、固定カメラでの水密再構成における Chamfer 距離と PSNR で上回る。
• 未知でノイズのあるカメラを用いた訓練は、カメラの精度を向上させ、依然として正確な3D表面を得る。
• レンダラに表面法線を組み込むことは、幾何と外観の分離を高め、レンダリングのリアリズムを向上させる。
• アブレーションでは視線方向、法線、またはグローバル特徴を除去すると再構成品質が低下することが示される。