[论文解读] SkeletonNet: A Topology-Preserving Solution for Learning Mesh Reconstruction of Object Surfaces from RGB Images

Jiapeng Tang, Xiaoguang Han+3 more|arXiv (Cornell University)|Aug 13, 2020

3D Shape Modeling and Analysis参考文献 80被引用 5

一句话总结

本文提出SkeletonNet，一种保持拓扑结构的深度学习框架，通过从单张RGB图像学习骨骼体积表示，以提升3D网格重建性能。通过骨骼点集的桥接学习与全局引导的子体积合成模块，SkeletonNet实现了显式网格变形（SkeGCNN）与隐式场正则化（SkeDISN），在物体与人体表面重建任务中达到最先进性能，同时提升了拓扑保真度。

ABSTRACT

This paper focuses on the challenging task of learning 3D object surface reconstructions from RGB images. Existingmethods achieve varying degrees of success by using different surface representations. However, they all have their own drawbacks,and cannot properly reconstruct the surface shapes of complex topologies, arguably due to a lack of constraints on the topologicalstructures in their learning frameworks. To this end, we propose to learn and use the topology-preserved, skeletal shape representationto assist the downstream task of object surface reconstruction from RGB images. Technically, we propose the novelSkeletonNetdesign that learns a volumetric representation of a skeleton via a bridged learning of a skeletal point set, where we use paralleldecoders each responsible for the learning of points on 1D skeletal curves and 2D skeletal sheets, as well as an efficient module ofglobally guided subvolume synthesis for a refined, high-resolution skeletal volume; we present a differentiablePoint2Voxellayer tomake SkeletonNet end-to-end and trainable. With the learned skeletal volumes, we propose two models, the Skeleton-Based GraphConvolutional Neural Network (SkeGCNN) and the Skeleton-Regularized Deep Implicit Surface Network (SkeDISN), which respectivelybuild upon and improve over the existing frameworks of explicit mesh deformation and implicit field learning for the downstream surfacereconstruction task. We conduct thorough experiments that verify the efficacy of our proposed SkeletonNet. SkeGCNN and SkeDISNoutperform existing methods as well, and they have their own merits when measured by different metrics. Additional results ingeneralized task settings further demonstrate the usefulness of our proposed methods. We have made both our implementation codeand the ShapeNet-Skeleton dataset publicly available at ble at https://github.com/tangjiapeng/SkeletonNet.

研究动机与目标

• 为解决从单张RGB图像重建具有复杂拓扑结构的3D物体表面的挑战，现有方法常因缺乏拓扑约束而失效。
• 开发一种深度学习框架，在重建过程中保持底层物体表面的拓扑结构。
• 引入一种新颖的骨骼表示作为结构先验，以同时指导显式网格变形与隐式场学习。
• 通过Point2Voxel层与1D曲线及2D板片的并行解码器，实现骨骼表示的端到端可微训练。
• 在合成数据与真实图像上（包括人体重建）验证方法的泛化性与鲁棒性。

提出的方法

• SkeletonNet采用桥接学习策略，从骨骼点集学习体积化骨骼表示，使用1D曲线与2D板片的并行解码器。
• 引入全局引导的子体积合成模块，从低分辨率特征中细化并重建高分辨率骨骼体积。
• 提出一种可微的Point2Voxel层，通过将点云表示转换为体素网格，实现端到端训练。
• 将骨骼体积作为结构先验，应用于两个下游模型：SkeGCNN用于显式网格变形，SkeDISN用于隐式场正则化。
• SkeGCNN利用图卷积网络，基于骨骼特征对基础网格进行变形；SkeDISN则通过多尺度骨骼特征正则化隐式场，以保持拓扑结构。
• 在人体重建任务中，方法扩展为SkePIfu，一种基于骨骼正则化的像素对齐隐式函数，优于PIFu与Pixel2Mesh。

实验结果

研究问题

• RQ1 学习到的骨骼表示是否能在单图像重建过程中保持复杂3D物体表面的拓扑结构？
• RQ2 保持拓扑结构的骨骼表示是否能同时提升显式网格变形与基于隐式场的表面重建性能？
• RQ3 所提出的SkeletonNet在泛化到新物体实例与真实图像方面效果如何？
• RQ4 骨骼表示是否能有效迁移至具有不同姿态的人体重建任务？
• RQ5 将骨骼特征整合到隐式与显式网络中，是否能带来更准确且拓扑正确的重建结果？

主要发现

• 在DeepHuman数据集上，SkeGCNN的Chamfer距离（CD）为4.294 × 10⁻⁴，IoU为68.37%，优于Pixel2Mesh（CD: 8.358 × 10⁻⁴，IoU: 50.77%）。
• 在相同数据集上，SkePIFu的CD为2.329 × 10⁻⁴，IoU为69.02%，优于PIFu（CD: 2.990 × 10⁻⁴，IoU: 65.86%）。
• 所提出的SkeletonNet成功保持了长而细的结构，但在包含微小孔洞的物体（如椅子与长凳）上仍存在困难。
• 在真实图像上的定性结果表明，SkeGCNN与SkeDISN均能良好泛化至新实例，生成拓扑正确的网格。
• 消融研究证实，全局引导的子体积合成与并行解码器设计显著提升了骨骼体积质量。
• 该方法在人体重建任务中表现出强泛化能力，SkePIFu的输出结果在准确度与一致性上均优于基线方法。