[论文解读] Meta-Learning 3D Shape Segmentation Functions

Yu Hao, Huang, Hao+2 more|arXiv (Cornell University)|Oct 8, 2021

3D Shape Modeling and Analysis参考文献 40被引用 4

一句话总结

该论文提出 Meta-3DSeg，一种元学习框架，通过在 3D 分割函数空间上学习先验，实现仅用极少或无需标注数据即可快速适应 3D 形状分割模型。它使用变分自编码器生成分割多层感知机（MLP）的任务特定初始化，尽管在无真实标签的情况下进行训练，但在 ShapeNet 数据集上仍实现了最先进的无监督部件分割性能。

ABSTRACT

Learning robust 3D shape segmentation functions with deep neural networks has emerged as a powerful paradigm, offering promising performance in producing a consistent part segmentation of each 3D shape. Generalizing across 3D shape segmentation functions requires robust learning of priors over the respective function space and enables consistent part segmentation of shapes in presence of significant 3D structure variations. Existing generalization methods rely on extensive training of 3D shape segmentation functions on large-scale labeled datasets. In this paper, we proposed to formalize the learning of a 3D shape segmentation function space as a meta-learning problem, aiming to predict a 3D segmentation model that can be quickly adapted to new shapes with no or limited training data. More specifically, we define each task as unsupervised learning of shape-conditioned 3D segmentation function which takes as input points in 3D space and predicts the part-segment labels. The 3D segmentation function is trained by a self-supervised 3D shape reconstruction loss without the need for part labels. Also, we introduce an auxiliary deep neural network as a meta-learner which takes as input a 3D shape and predicts the prior over the respective 3D segmentation function space. We show in experiments that our meta-learning approach, denoted as Meta-3DSeg, leads to improvements on unsupervised 3D shape segmentation over the conventional designs of deep neural networks for 3D shape segmentation functions.

研究动机与目标

• 解决在有限或无标注数据情况下，跨多样化形状进行 3D 形状分割泛化的问题。
• 将 3D 形状分割形式化为元学习问题，学习函数空间上的先验，而非数据分布上的先验。
• 通过仅使用几次梯度更新，实现分割模型对新形状的快速适应。
• 通过变分自编码器学习分割函数的分布，从而改进无监督 3D 部分分割。
• 在具有显著结构差异的形状之间实现一致且准确的部件分割。

提出的方法

• 将 3D 形状分割形式化为元学习问题，其中每个任务是为单个 3D 形状学习一个独特的分割函数。
• 采用自监督的 3D 形状重建损失来训练 3D 分割学习器，而无需部件级别的标签。
• 引入一个由变分自编码器（VAE）组成的 3D 分割元学习器，将形状表征映射到 3D 分割任务的分布上。
• 利用 VAE 采样任务特定的先验，以指导分割 MLP 参数的初始化。
• 通过在新形状上进行少样本梯度更新，训练元学习器以预测分割学习器的最优网络权重。
• 结合形状编码器与条件 MLP，以表示形状条件化的分割函数。

实验结果

研究问题

• RQ1 元学习能否有效应用于 3D 形状分割，以实现在极少标注数据下的快速适应？
• RQ2 在 3D 分割函数空间上学习先验，能否提升在具有结构差异的多样化形状上的泛化能力？
• RQ3 在无监督设置下，能够预测初始化参数的元学习器与在大规模标注数据集上标准训练的模型相比表现如何？
• RQ4 自监督重建损失能否在无部件级别注释的情况下有效训练分割函数？
• RQ5 使用变分自编码器建模任务分布，是否能带来比标准初始化策略更好的泛化性能？

主要发现

• Meta-3DSeg 在 ShapeNet 数据集上实现了无监督 3D 部分分割的最先进性能，在低样本设置下甚至优于完全监督的方法。
• 在所有类别上均以纯无监督方式训练的模型，其性能仍接近在全部标注数据上训练的 PointNet，展现出强大的泛化能力。
• 基于 VAE 的元学习器相比标准权重初始化表现更优，其中 weight-setting-C 的表现优于 weight-setting-B。
• 定性结果表明，Meta-3DSeg 在多样化形状（包括飞机等复杂物体）上能生成更准确且一致的部件特定标签预测。
• 该模型在无需按类别微调的情况下，能有效跨类别泛化，而 BAE-NET 等类别特定模型则不具备此特性。
• 消融实验确认，与标准训练相比，元学习初始化显著提升了分割性能，尤其在数据量较少的场景下优势更明显。