[论文解读] Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction

Jiamin Xu, Zihan Zhu+2 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Vision and Imaging被引用 14

一句话总结

本文提出一种混合网格-神经表示方法，结合显式基础网格与基于表面的局部MLP，从手持相机在自然光照下的图像中重建三维透明物体。通过在轮廓导出的网格上使用局部MLP编码顶点位移场（VDF），该方法实现了放宽射线-像素对应关系的可微分渲染，从而在简化采集设置下实现高保真重建，优于当前最先进方法。

ABSTRACT

We propose a novel method to reconstruct the 3D shapes of transparent objects using hand-held captured images under natural light conditions. It combines the advantage of explicit mesh and multi-layer perceptron (MLP) network, a hybrid representation, to simplify the capture setting used in recent contributions. After obtaining an initial shape through the multi-view silhouettes, we introduce surface-based local MLPs to encode the vertex displacement field (VDF) for the reconstruction of surface details. The design of local MLPs allows to represent the VDF in a piece-wise manner using two layer MLP networks, which is beneficial to the optimization algorithm. Defining local MLPs on the surface instead of the volume also reduces the searching space. Such a hybrid representation enables us to relax the ray-pixel correspondences that represent the light path constraint to our designed ray-cell correspondences, which significantly simplifies the implementation of single-image based environment matting algorithm. We evaluate our representation and reconstruction algorithm on several transparent objects with ground truth models. Our experiments show that our method can produce high-quality reconstruction results superior to state-of-the-art methods using a simplified data acquisition setup.

研究动机与目标

• 解决在自然光照下透明物体三维重建的挑战，其中因折射和反射导致的复杂光路阻碍了传统方法。
• 减少对转盘、校准背景图案等受控采集环境的依赖，实现低成本、手持式采集。
• 通过结合显式网格几何与基于顶点位移场（VDF）的神经表示，提升表面细节重建质量。
• 通过引入射线-体素对应关系，放宽严格的射线-像素对应关系约束，简化环境抠像与优化过程。
• 通过在网格簇上使用局部MLP而非体素表示，加速优化并提升鲁棒性。

提出的方法

• 方法从仅使用轮廓损失的多视角轮廓基初始网格重建开始，采用IDR但省略神经渲染器。
• 初始网格被简化并归一化后，划分为多个簇，每个簇分配一个局部两层MLP以表示局部顶点位移场（VDF）。
• 顶点位移通过相邻局部MLP输出的融合计算，利用梯度传播实现全局平滑性约束。
• 提出一种新型射线-体素对应关系，通过将射线匹配到动态背景图案上的着色体素，替代严格的射线-像素对应关系，显著降低采集复杂度。
• 使用可微分路径追踪渲染优化VDF，损失函数基于图像光度一致性与环境抠像结果。
• 融合模块将梯度信息分散至相邻局部MLP，保持全局一致性的同时实现高效、局部化的优化。

实验结果

研究问题

• RQ1 与纯神经或纯网格方法相比，混合网格-神经表示是否能提升自然光照下透明物体的三维重建质量？
• RQ2 在不降低重建保真度的前提下，射线-像素对应关系约束能在多大程度上放宽？
• RQ3 与体素MLP相比，基于网格表面的局部MLP在优化速度与细节恢复方面表现如何？
• RQ4 基于射线-体素对应关系，能否在自然光照下稳健实现单图像环境抠像算法？
• RQ5 将局部MLP与基础网格融合，是否能在保持全局形状一致性的同时实现精细细节重建？

主要发现

• 所提方法在自然光照下相比当前最先进方法，实现了更优的重建质量，尤其在捕捉精细表面细节方面表现突出。
• 使用基于表面的局部MLP表示VDF，相比体素MLP，优化速度更快且细节恢复能力更强。
• 从射线-像素对应关系放宽至射线-体素对应关系，显著简化了采集设置，使无需转盘或固定背景图案的手持相机拍摄成为可能。
• 基于射线-体素对应关系的单图像环境抠像算法表现稳健，可从自然图像中准确推断光路。
• 融合模块有效在局部MLP之间传播梯度信息，保持全局平滑性并防止局部伪影。
• 在真实模型上的评估证实，该方法在定量指标与视觉保真度方面均优于现有方法。