[论文解读] GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions

Gene Chou, Ilya Chugunov+1 more|arXiv (Cornell University)|Jun 6, 2022

Human Pose and Action Recognition被引用 12

一句话总结

GenSDF 提出了一种两阶段半监督元学习框架，使神经符号距离函数（SDF）能够从无标签点云中泛化到100多种未见的3D物体类别。通过首先在有标签数据上通过元训练学习形状先验，然后在不相交的无标签数据上利用一种新颖的自监督符号预测损失进行优化，该方法在无需微调的情况下实现了鲁棒的零样本重建。

ABSTRACT

We investigate the generalization capabilities of neural signed distance functions (SDFs) for learning 3D object representations for unseen and unlabeled point clouds. Existing methods can fit SDFs to a handful of object classes and boast fine detail or fast inference speeds, but do not generalize well to unseen shapes. We introduce a two-stage semi-supervised meta-learning approach that transfers shape priors from labeled to unlabeled data to reconstruct unseen object categories. The first stage uses an episodic training scheme to simulate training on unlabeled data and meta-learns initial shape priors. The second stage then introduces unlabeled data with disjoint classes in a semi-supervised scheme to diversify these priors and achieve generalization. We assess our method on both synthetic data and real collected point clouds. Experimental results and analysis validate that our approach outperforms existing neural SDF methods and is capable of robust zero-shot inference on 100+ unseen classes. Code can be found at https://github.com/princeton-computational-imaging/gensdf.

研究动机与目标

• 为解决现有神经SDF方法在泛化性方面的不足，这些方法需要真实符号距离监督且在未见形状上表现失败。
• 仅使用无标签点云和有限有标签数据，实现对未见3D物体类别的零样本推理。
• 开发一种半监督元学习框架，将有标签数据中的形状先验迁移到不相交类别的无标签数据中。
• 通过在两阶段训练过程中结合元学习与新颖的自监督符号预测损失，提升泛化能力。

提出的方法

• 第一阶段使用不相交的有标签和无标签子集进行元训练，以元学习初始形状先验，将一个子集视为有真实SDF监督的有标签数据，另一个子集视为具有自监督损失的无标签数据。
• 第二阶段引入一组完全不相交的无标签数据，并应用一种新颖的自监督符号预测损失，用于预测符号距离的正确符号，与以往的无符号距离方法形成差异。
• 模型通过端到端训练，结合有标签数据上的SDF重建损失和无标签数据上的符号感知自监督，以优化并多样化学习到的先验。
• 该方法利用多尺度编码器-解码器架构处理点云，并在查询点上预测SDF值，通过输入归一化和重新中心化提升对尺度和噪声的鲁棒性。
• 元学习方案确保模型在第一阶段即可学习在多样化、未见物体类别间泛化。
• 最终模型通过在合成数据集（Acronym）和真实世界数据集（YCB）上的Chamfer Distance（CD）进行评估，以衡量重建质量和泛化能力。

实验结果

研究问题

• RQ1 神经SDF模型是否能在无需任何微调或标注的情况下，泛化到100多种未见的3D物体类别？
• RQ2 在不相交的有标签和无标签子集上进行的元学习相比标准监督或无监督训练，如何提升泛化能力？
• RQ3 在第二阶段引入自监督符号预测损失对重建质量和泛化能力有何影响？
• RQ4 与完全监督或无监督基线相比，两阶段训练方案在未见类别上的零样本性能如何？

主要发现

• GenSDF 在 YCB 数据集的166个未见类别上实现了平均 Chamfer Distance（CD）为 0.407 × 10⁻⁴，优于现有SDF方法在零样本泛化上的表现。
• 仅第一阶段元学习在未见类别上即达到 CD 为 0.515 × 10⁻⁴，表明在无额外无标签数据下仍具备强大的先验学习能力。
• 完整两阶段方法将未见类别的 CD 降低至 0.407 × 10⁻⁴，相比仅元学习基线提升了22%。
• 该方法对噪声输入具有鲁棒泛化能力，在 YCB 水壶点云上，当高斯噪声方差 σ² < 0.05 时，CD 维持在 ≤3.122 × 10⁻⁴ 以内。
• 消融实验确认元学习阶段提供了坚实基础，因为从零开始训练第二阶段（仅半监督）在未见类别上导致显著更高的 CD（0.889 × 10⁻⁴）。
• 尽管训练仅使用20个有标签类别，GenSDF 在未见类别上的表现仍优于完全监督基线（如 Sup. 76 cls），凸显其强大的泛化能力。