[论文解读] High-Resolution Shape Completion Using Deep Neural Networks for Global Structure and Local Geometry Inference

Xiaoguang Han, Zhen Li+3 more|arXiv (Cornell University)|Sep 22, 2017

3D Shape Modeling and Analysis参考文献 27被引用 45

一句话总结

本文提出了一种基于深度学习的高分辨率3D形状补全框架，采用双分支网络结构：一个基于3D全卷积网络和LSTM-融合上下文模块的全局结构推理网络，以及一个逐块重建细节表面的局部几何精炼网络。该方法在六个物体类别上实现了最先进性能，在椅子类别上达到97.25%的完整性得分，在枪械类别上达到98.58%，显著优于先前方法。

ABSTRACT

We propose a data-driven method for recovering miss-ing parts of 3D shapes. Our method is based on a new deep learning architecture consisting of two sub-networks: a global structure inference network and a local geometry refinement network. The global structure inference network incorporates a long short-term memorized context fusion module (LSTM-CF) that infers the global structure of the shape based on multi-view depth information provided as part of the input. It also includes a 3D fully convolutional (3DFCN) module that further enriches the global structure representation according to volumetric information in the input. Under the guidance of the global structure network, the local geometry refinement network takes as input lo-cal 3D patches around missing regions, and progressively produces a high-resolution, complete surface through a volumetric encoder-decoder architecture. Our method jointly trains the global structure inference and local geometry refinement networks in an end-to-end manner. We perform qualitative and quantitative evaluations on six object categories, demonstrating that our method outperforms existing state-of-the-art work on shape completion.

研究动机与目标

• 解决由于遮挡或扫描条件差导致的大面积缺失区域的3D形状补全挑战。
• 克服传统基于几何的方法在大型间隙和深度学习方法中粗粒度体素表示下的局限性。
• 通过端到端联合学习全局结构与局部几何细节，提升形状补全质量。
• 通过结合全局上下文与局部高保真表面精炼，实现高分辨率输出。
• 利用大规模3D模型集合学习强大的3D形状先验，以实现鲁棒的补全。

提出的方法

• 该方法使用一个全局结构推理网络，结合3D全卷积网络（3DFCN）与基于视图的长短期记忆上下文融合（LSTM-CF）模块，从多视角深度输入中推断完整形状结构。
• 3DFCN分支通过符号距离场（CSDF）和边界表面（BSurf）特征处理体素表示，而LSTM-CF分支则编码多视角上下文以建模全局形状结构。
• 局部几何精炼网络采用3D编码器-解码器架构，逐块重建高分辨率表面，由全局结构预测结果引导。
• 全局与局部网络通过多任务损失联合端到端训练，包括基于AUC的损失用于全局结构预测，以及用于局部精炼的交叉熵损失。
• 该框架通过先推断全局形状结构，再将低分辨率体素输入转换为高分辨率输出，对不完整点云进行处理。
• 该方法以分块方式运行，从缺失区域的边界开始，实现细节丰富的几何合成。

实验结果

研究问题

• RQ1 深度学习模型能否联合推断全局形状结构并精炼局部几何，以实现高分辨率3D形状补全？
• RQ2 3D全卷积网络与基于LSTM的上下文建模相结合，在从不完整输入中进行全局结构预测方面效果如何？
• RQ3 由全局结构预测引导的局部精炼是否能提升完成3D形状的质量与合理性？
• RQ4 不同输入模态（如高分辨率深度图像、CSDF和BSurf）对全局结构推理的贡献是什么？
• RQ5 缺乏全局引导时，对局部几何精炼性能有何影响？

主要发现

• 所提方法在椅子类别上实现97.25%的完整性得分与0.00398的归一化距离，显著优于先前最先进方法。
• 在枪械类别上，方法实现98.58%的完整性与0.00281的归一化距离，表明在复杂、关节式形状上表现卓越。
• 消融研究显示，若移除LSTM上下文建模或AUC损失，全局网络F1得分分别降至0.896与0.904，凸显其重要性。
• 若无全局引导，局部几何精炼网络的F1得分降至0.912，证实其在准确局部合成中的关键作用。
• 若将全局网络中的1×1×1卷积替换为编码器-解码器结构，性能下降至0.818，表明直接空间上下文建模的重要性。
• 在动物类别上，方法实现95.53%的完整性与0.00363的归一化距离，表明其在多样化物体类别间具有强大泛化能力。