[论文解读] Hierarchical Surface Prediction for 3D Object Reconstruction

Christian Häne, Shubham Tulsiani+1 more|arXiv (Cornell University)|Apr 3, 2017

3D Shape Modeling and Analysis参考文献 31被引用 29

一句话总结

本文提出层级表面预测（HSP）框架，通过基于八叉树的多级层次结构，将计算资源集中于表面相邻体素，从而预测高分辨率3D体素网格。通过在逐级提升分辨率下仅预测边界体素，HSP在保持256³分辨率的同时，相比低分辨率基线模型实现了更高的精度，在单图输入与部分输入重建任务中展现出更优的几何细节与表面质量。

ABSTRACT

Recently, Convolutional Neural Networks have shown promising results for 3D geometry prediction. They can make predictions from very little input data such as a single color image. A major limitation of such approaches is that they only predict a coarse resolution voxel grid, which does not capture the surface of the objects well. We propose a general framework, called hierarchical surface prediction (HSP), which facilitates prediction of high resolution voxel grids. The main insight is that it is sufficient to predict high resolution voxels around the predicted surfaces. The exterior and interior of the objects can be represented with coarse resolution voxels. Our approach is not dependent on a specific input type. We show results for geometry prediction from color images, depth images and shape completion from partial voxel grids. Our analysis shows that our high resolution predictions are more accurate than low resolution predictions.

研究动机与目标

• 解决基于CNN的方法在高分辨率3D体素预测中计算不可行的问题。
• 通过聚焦于表面相邻体素而非所有体素的预测，提升几何精度。
• 实现从最少输入（如单张RGB或深度图像）进行高达256³的高分辨率3D重建。
• 证明更高分辨率的预测结果优于对低分辨率输出进行上采样的方法。
• 通过层级细化实现从部分低分辨率体素网格中完成形状重建。

提出的方法

• 该方法使用层级八叉树结构，从粗到细逐步预测体素块，起始于16³并逐步推进至256³。
• 在每一层，网络输出三分类结果：自由空间、边界与占据空间，其中边界表示需更高分辨率的区域。
• 仅将被标记为“边界”的体素递归地细分并细化至后续层级，从而降低计算成本。
• 将每一层的特征图作为下一层的输入，实现多尺度监督与层级特征学习。
• 最终通过优化阈值选择的等值面提取算法（marching cubes）提取高分辨率体素网格。
• 框架采用端到端训练，使用交叉熵损失进行三分类预测，并结合可微分损失函数优化重建指标。

实验结果

研究问题

• RQ1 能否在输入数据极少的情况下，利用深度学习高效实现高分辨率3D重建？
• RQ2 与均匀高分辨率预测相比，聚焦于表面相邻体素的预测是否能显著提升重建精度？
• RQ3 在几何保真度方面，层级细化是否优于对低分辨率预测结果进行简单上采样？
• RQ4 该方法在未见输入（如分布外的真实世界图像）上的泛化能力如何？
• RQ5 该框架能否有效从部分低分辨率体素输入中重建完整形状？

主要发现

• HSP实现了256³分辨率的重建，显著高于典型基线模型通常限制在32³或64³的水平。
• 在验证集上，HSP在64³分辨率下对椅子类的IoU达到43.12%，与LR Hard基线性能相当。
• 在256³分辨率下，HSP在所有类别（飞机、椅子、汽车）中均优于两个基线模型，IoU与对称Chamfer距离指标表现更优。
• 定性结果表明，HSP生成的表面质量更高，几何细节更丰富，尤其在细长结构上表现更优。
• 模型可泛化至互联网获取的真实世界图像，成功从单色背景的单张图像中重建出汽车。
• 该方法能有效实现从部分低分辨率体素网格出发的形状补全，以高保真度重建完整物体。