[论文解读] Deep Level Sets: Implicit Surface Representations for 3D Shape Inference

Mateusz Michalkiewicz, Jhony Kaesemodel Pontes+3 more|arXiv (Cornell University)|Jan 21, 2019

3D Shape Modeling and Analysis参考文献 30被引用 61

一句话总结

该论文提出一个端到端框架，将3D形状预测为定向的水平集隐式曲面，相比体素表示提高重建精度，并实现对拓扑的灵活处理。

ABSTRACT

Existing 3D surface representation approaches are unable to accurately classify pixels and their orientation lying on the boundary of an object. Thus resulting in coarse representations which usually require post-processing steps to extract 3D surface meshes. To overcome this limitation, we propose an end-to-end trainable model that directly predicts implicit surface representations of arbitrary topology by optimising a novel geometric loss function. Specifically, we propose to represent the output as an oriented level set of a continuous embedding function, and incorporate this in a deep end-to-end learning framework by introducing a variational shape inference formulation. We investigate the benefits of our approach on the task of 3D surface prediction and demonstrate its ability to produce a more accurate reconstruction compared to voxel-based representations. We further show that our model is flexible and can be applied to a variety of shape inference problems.

研究动机与目标

• 通过使用隐式水平集表示来改进3D形状推断中的边界体素。
• 开发一个端到端可训练的框架，预测一个水平集嵌入，其零水平集产生对象表面。
• 将几何正则化项（面积、体积、方向/定向、平滑性）纳入变分损失，以实现鲁棒的曲面推断。
• 证明在相当的网络容量下，水平集表示比体素占用具有更高的保真度重建。

提出的方法

• 将三维输出表示为嵌入函数 phi 的零水平集，并对 phi 进行变分损失优化。
• 定义能量泛函 E_X 与 E_N，使曲面 Gamma 与数据点及法向量对齐。
• 纳入正则化项，如表面积 E_area 和体积 E_vol，以及一个 E_sdf 项以促进 |grad(phi)|≈1。
• 使用 delta_epsilon 和 H_epsilon 将连续损失转换为基于网格的近似以实现可微分性。
• 训练一个简单的三维自编码器 + CNN 预测框架，具有共享的 64D 潜在空间，比较水平集与体素基线。

实验结果

研究问题

• RQ1 当将隐式水平集表示与变分损失结合时，是否能比基于体素的方法提供更准确的3D形状推断？
• RQ2 几何先验（面积、体积）以及法向量/定向项在水平集框架中如何影响重建质量？
• RQ3 该方法对拓扑变化是否鲁棒，并且是否能够从单视图输入获得高保真表面细节？

主要发现

类别	体素 (20^3)	phi (20^3)	Delta (20^3)	体素 (30^3)	phi (30^3)	Delta (30^3)
Bottle	73.5 / 64.9	82.2 / 78.4	(+13.5)	84.9 / 72.9	87.1 / 82.8	(+9.9)
Car	76.2 / 74.7	88.1 / 86.6	(+11.9)	86.8 / 81.5	88.3 / 86.9	(+5.4)
Chair	75.1 / 57.8	76.5 / 64.0	(+6.2)	86.1 / 60.0	77.8 / 62.5	(+2.5)
Sofa	75.8 / 62.7	75.3 / 68.9	(+6.2)	87.1 / 68.6	80.2 / 73.0	(+4.4)
Table	-	-	-	-	-	-

• 隐式水平集表示在大多数类别的 20^3 和 30^3 分辨率下获得比体素占用更高的 IoU 分数。
• Chamfer 距离通常较低，表明表面重建更接近，对于 20^3 的提升更大，30^3 时差距缩小。
• 水平集相对于体素的改进随着分辨率提高而减小，某些类别（如椅子）由于拓扑特性而表现出较小的增益。
• 定性结果显示，与体素基线相比，使用水平集方法可以实现更精细的几何细节和更平滑的表面。
• 该框架在性能上与体素方法相当，同时在边界准确性和拓扑灵活性方面具有改进。