[论文解读] Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|Oct 23, 2020

3D Shape Modeling and Analysis被引用 25

一句话总结

该论文提出了一种基于隐函数的无监督深度学习框架，用于在拓扑结构变化的物体（如椅子和车辆）之间建立密集的3D形状对应关系。该方法为每个3D点学习语义部件嵌入向量（PEVs），通过反函数实现形状重建和对应关系预测，并提供置信度分数以标识有效对应关系——尤其适用于具有可变部件结构的非自然物体。

ABSTRACT

The goal of this paper is to learn dense 3D shape correspondence for topology-varying objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a part embedding vector for each 3D point, which is assumed to be similar to its densely corresponded point in another 3D shape of the same object category. Furthermore, we implement dense correspondence through an inverse function mapping from the part embedding to a corresponded 3D point. Both functions are jointly learned with several effective loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.

研究动机与目标

• 解决在拓扑结构变化的、部件构成显著不同的非自然物体中实现密集3D形状对应关系的挑战。
• 克服先前方法假设拓扑相似性或仅预测固定数量语义点的局限性。
• 实现在无真实标注数据情况下的无监督密集对应学习，尤其适用于几何与拓扑结构多变的形状。
• 开发一种机制，不仅能预测对应点，还能估计置信度分数以区分有效对应与不存在的对应。
• 通过单一隐函数框架统一形状表征、分割与密集对应关系，结合可学习部件嵌入。

提出的方法

• 提出一种分支隐函数，为每个3D点输出一个部件嵌入向量（PEV），其中每个分支学习一种通用的语义部件表征。
• 利用PEV的最大池化操作恢复占据情况，从而实现形状重建与表面估计。
• 引入一个反隐函数 $\mathbf{\hat{x}} = g(\mathbf{o}, \mathbf{z})$，将部件嵌入向量映射回3D空间点，实现密集对应关系预测。
• 联合训练编码器 $E$、隐函数 $f$ 和反函数 $g$，采用多种损失函数：占据损失 $\mathcal{L}^{occ}$、形状重建损失 $\mathcal{L}^{SR}$，以及部件嵌入一致性交叉重建损失。
• 通过在逐步提高分辨率的体素网格上进行渐进式训练（$16^3 \to 32^3 \to 64^3$），以稳定并加速收敛。
• 推理阶段，基于源形状与目标形状之间PEV的相似性计算置信度分数，以判断对应关系是否存在。

实验结果

研究问题

• RQ1 隐函数能否扩展以学习语义部件嵌入，从而在拓扑结构变化的3D形状之间实现密集对应？
• RQ2 无监督框架如何在无真实标签的情况下联合学习形状重建、分割与对应关系？
• RQ3 从部件嵌入到3D点的反向映射能否在形状形变与拓扑变化下保持一致的点对点对应？
• RQ4 基于部件嵌入相似性的置信度分数能否有效区分有效对应与不存在的对应？
• RQ5 所提出的方法是否能在具有可变部件结构的多样化非自然物体类别中实现泛化，例如具有不同数量扶手或椅腿的椅子？

主要发现

• 该方法在基准数据集上实现了无监督3D语义对应与形状分割的最先进性能，尤其在拓扑结构变化的形状上表现突出。
• 置信度分数机制成功识别出不存在的对应关系——例如目标椅子上无扶手时，该区域被赋予较低分数（<0.2）。
• 交叉重建实验表明，即使部件构成不同，交换形状之间的PEVs仍能生成合理的重建结果。
• 在潜在空间与3D空间中的插值均能保持形变过程中的稳定点对点对应，显示出强大的泛化能力。
• 反隐函数实现了平滑且语义合理的形状插值，对应偏移量在局部保持平滑。
• 可视化结果证实，置信度分数在对应语义部件（如扶手、椅腿）上较高，而在不匹配或缺失部件区域则较低。