[论文解读] Deep Functional Dictionaries: Learning Consistent Semantic Structures on 3D Models from Functions

Minhyuk Sung, Hao Su+2 more|arXiv (Cornell University)|May 24, 2018

3D Shape Modeling and Analysis被引用 15

一句话总结

本文提出深度函数字典（Deep Functional Dictionaries），一种无需对应关系的神经网络框架，通过在点云几何结构和相关语义探测函数上进行训练，学习一组一致的、跨3D形状共享的语义结构。该方法在无任何对应监督的情况下，学习到一组紧凑的、形状特定的基函数字典，这些基函数能覆盖输入的语义函数，并实现在不同形状间的一致、稀疏编码，在分割和关键点检测任务中表现出色，即使标注不完整也能取得优异性能。

ABSTRACT

Various 3D semantic attributes such as segmentation masks, geometric features, keypoints, and materials can be encoded as per-point probe functions on 3D geometries. Given a collection of related 3D shapes, we consider how to jointly analyze such probe functions over different shapes, and how to discover common latent structures using a neural network --- even in the absence of any correspondence information. Our network is trained on point cloud representations of shape geometry and associated semantic functions on that point cloud. These functions express a shared semantic understanding of the shapes but are not coordinated in any way. For example, in a segmentation task, the functions can be indicator functions of arbitrary sets of shape parts, with the particular combination involved not known to the network. Our network is able to produce a small dictionary of basis functions for each shape, a dictionary whose span includes the semantic functions provided for that shape. Even though our shapes have independent discretizations and no functional correspondences are provided, the network is able to generate latent bases, in a consistent order, that reflect the shared semantic structure among the shapes. We demonstrate the effectiveness of our technique in various segmentation and keypoint selection applications.

研究动机与目标

• 在无需逐点对应关系或函数映射监督的情况下，发现跨3D形状集合的一致、共享语义结构。
• 学习一组紧凑的、与形状相关的基函数字典，使其能覆盖每种形状上的给定语义探测函数。
• 通过端到端地在点云和语义函数上训练神经网络，实现在不同形状间的一致功能编码。
• 支持分割和关键点检测等应用，实现最小化监督，尤其在标注不完整或受损时表现良好。
• 通过损失函数设计，使字典原子能够被约束以反映特定语义属性，如最小部分或单一点。

提出的方法

• 网络在3D形状点云及其相关语义探测函数对（如分割掩码、关键点）上进行训练，不使用任何对应信息。
• 采用神经网络架构（如PointNet或残差网络）处理点云及其关联函数，为每种形状预测一组少量基函数，形成形状特定的字典。
• 损失函数鼓励预测的字典能够覆盖输入探测函数，同时在不同形状之间强制基函数的排序一致性。
• 该框架将问题视为函数自编码器，要求解码过程通过基函数选择实现稀疏化和规范化，从而促进共享语义结构的形成。
• 通过损失函数施加约束，引导基原子向期望属性对齐，如分割中的最小部分或关键点检测中的孤立点。
• 对于非刚性形状，使用HKS和WKS等点描述符作为输入特征，并添加从采样点出发的测地线距离，以打破对称性并提升对齐效果。

实验结果

研究问题

• RQ1 神经网络能否在无任何对应关系或函数映射监督的情况下，学习到跨3D形状的一致、共享语义结构？
• RQ2 如何学习到一组紧凑的、形状特定的基函数字典，使其能覆盖每种形状上的给定语义探测函数？
• RQ3 当训练标注不完整或受损时，所学习的基函数在多大程度上能反映细粒度的语义部件？
• RQ4 该框架能否通过将基原子约束为特定语义属性，支持如分割和关键点检测等多样化应用？
• RQ5 在无显式对应关系的情况下，所学习的功能字典在非刚性可变形形状之间传递语义信息的能力如何？

主要发现

• 该方法在部件分割任务中表现优异，即使从零开始训练且无逐点监督，仍能在IoU阈值为0.5时实现高召回率（如天花板90.2%，地板88.7%）。
• 该框架成功学习到形状间一致的基函数排序，实现了语义函数（如部件指示）在不同形状间的迁移，甚至在MPI-FAUST数据集中的人体非刚性形态上也有效。
• 语义标签与字典原子索引之间表现出弱但有意义的一致性，不同类型对象（如墙与门）之间有明显区分，仅在高度相近的对象（如椅子与沙发）之间存在混淆。
• 网络能够将复杂语义函数分解为稀疏且一致的基函数组合，有效聚合跨形状的局部标注，以推断完整分解。
• 结合HKS和WKS描述符与测地线距离特征，使非刚性形状上的学习更加有效，且所得原子函数在形变空间中表现出一致的排序。
• 该框架在应用上具有良好的泛化能力：可通过损失函数约束，灵活地在基原子中强制实现期望属性，如识别最小部分或孤立关键点。