[论文解读] Full 3D Reconstruction of Transparent Objects

Bojian Wu, Yang Zhou+3 more|arXiv (Cornell University)|May 9, 2018

Computer Graphics and Visualization Techniques被引用 8

一句话总结

本论文提出了一种完全自动化的完整3D透明物体重建方法，采用转盘装置配合双摄像头捕捉轮廓和光线折射路径。通过在表面法线一致性、折射法线一致性、轮廓一致性以及表面平滑度约束下对初始模型进行迭代优化，该方法能够实现对复杂透明形状的高保真、照片级真实感重建，准确还原其折射特性。

ABSTRACT

Numerous techniques have been proposed for reconstructing 3D models for opaque objects in past decades. However, none of them can be directly applied to transparent objects. This paper presents a fully automatic approach for reconstructing complete 3D shapes of transparent objects. Through positioning an object on a turntable, its silhouettes and light refraction paths under different viewing directions are captured. Then, starting from an initial rough model generated from space carving, our algorithm progressively optimizes the model under three constraints: surface and refraction normal consistency, surface projection and silhouette consistency, and surface smoothness. Experimental results on both synthetic and real objects demonstrate that our method can successfully recover the complex shapes of transparent objects and faithfully reproduce their light refraction properties.

研究动机与目标

• 解决长期以来透明物体完整3D形状重建的挑战，因为现有方法因光线折射而无法捕捉完整形态。
• 消除对人工涂色或侵入式标定的依赖，实现无需干预的全自动数据采集，仅使用市售组件。
• 开发一种稳健的优化框架，同时利用轮廓和折射数据以恢复精确的几何形状与光学行为。
• 生成能够忠实再现真实透明物体光线折射特性的照片级真实感3D模型。
• 超越部分重建，通过引入多种约束确保最终形状的完整性与平滑性。

提出的方法

• 利用转盘、一台LCD显示器作为背光光源以及两台固定摄像头，捕捉轮廓和光线-光线对应关系。
• 通过空间雕刻法从捕获的轮廓和折射路径生成初始粗略模型。
• 通过三项核心约束对模型进行迭代优化：表面与折射法线一致性、表面投影与轮廓一致性、表面平滑度。
• 采用新颖的点聚合公式，以在保留轮廓边界和折射行为的同时细化几何形状。
• 采用两步数据采集：第一步获取前视轮廓和折射路径，第二步获取后视对应关系以提升深度估计精度。
• 应用一致性检查以过滤违反双次折射假设的数据，从而在复杂区域提升鲁棒性。

实验结果

研究问题

• RQ1 是否能够实现完全自动化的透明物体完整3D形状重建，而无需人工干预或物体涂色？
• RQ2 是否可以联合利用光线折射路径与轮廓信息，推断透明材料中的精确表面几何形状与法线一致性？
• RQ3 如何通过表面平滑度与轮廓一致性约束防止伪影并确保拓扑正确性？
• RQ4 该方法在处理复杂凹面与透明特征（如Bunny和Mouse模型中的结构）时的性能如何？
• RQ5 当出现多次折射或空心内部结构时，该方法存在哪些局限性？

主要发现

• 该方法成功重建了复杂透明物体的3D形状，包括Bunny和Mouse模型中常被传统方法捕捉不佳的凹陷区域（如颈部和腹部）。
• 重建误差在迭代过程中显著下降，约20次迭代后收敛，如误差曲线（图14e）所示。
• 最终重建结果准确保持了物体轮廓，如图17和图18所示，渲染模型与真实物体照片在视觉上高度一致。
• 尽管由于显示器覆盖范围限制，未能捕获所有光线-光线对应关系（图15），但通过平滑度与一致性约束，仍保持了高保真度。
• 仅在存在多次折射的区域出现伪影（如图18中红色高光区域），证实该方法依赖于双次折射假设。
• 该方法实现了重建模型的照片级真实感渲染，在不同光照条件下，视觉质量与真实物体图像高度匹配。