[论文解读] AdaCoSeg: Adaptive Shape Co-Segmentation with Group Consistency Loss

Chenyang Zhu, Kai Xu+4 more|arXiv (Cornell University)|Mar 25, 2019

3D Shape Modeling and Analysis参考文献 39被引用 9

一句话总结

AdaCoSeg 是一种用于点云自适应3D形状联合分割的弱监督深度学习框架，采用两阶段方法：首先通过离线部分先验网络对初始部分提议进行去噪，随后通过在线联合分割网络，基于基于矩阵秩的新型组一致性损失，联合优化形状集合中的部分标注。该方法在无需一致真实标注的情况下，实现了用户指定的K部分分割，且在基准数据集上优于最先进方法。

ABSTRACT

We introduce AdaCoSeg, a deep neural network architecture for adaptive co-segmentation of a set of 3D shapes represented as point clouds. Differently from the familiar single-instance segmentation problem, co-segmentation is intrinsically contextual: how a shape is segmented can vary depending on the set it is in. Hence, our network features an adaptive learning module to produce a consistent shape segmentation which adapts to a set. Specifically, given an input set of unsegmented shapes, we first employ an offline pre-trained part prior network to propose per-shape parts. Then, the co-segmentation network iteratively and} jointly optimizes the part labelings across the set subjected to a novel group consistency loss defined by matrix ranks. While the part prior network can be trained with noisy and inconsistently segmented shapes, the final output of AdaCoSeg is a consistent part labeling for the input set, with each shape segmented into up to (a user-specified) K parts. Overall, our method is weakly supervised, producing segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from AdaCoSeg and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

研究动机与目标

• 解决在形状集合间缺乏一致真实标注的情况下，实现一致3D形状联合分割的挑战。
• 设计一种能根据特定输入集合自适应行为的联合分割网络，而非在输入间进行泛化。
• 提升分割的一致性，并增强对形状集合中几何和结构变化的鲁棒性。
• 通过利用噪声大、不一致的分割结果对部分先验网络进行预训练，实现弱监督学习。
• 开发一种运行时联合分割网络，通过可微分的基于矩阵秩的损失实现组一致性优化。

提出的方法

• 采用两阶段流程：首先，利用从不一致分割中获得的弱监督信号，通过预训练的部分先验网络对初始部分提议进行去噪。
• 其次，通过一种自适应联合分割网络，利用基于部分相似性矩阵秩的新型组一致性损失，在输入集合中的所有形状上联合优化部分标注。
• 组一致性损失通过最小化跨部分相似性矩阵的秩，促进不同形状间部分之间的对应关系，从而在结构和几何上实现一致性。
• 联合分割网络通过反向传播与组一致性损失进行训练，实现在无真实标注的情况下对部分分配进行迭代优化。
• 部分先验网络在包含大量不一致分割的大规模数据集（如 ComplementMe）上一次性训练，并在不同联合分割任务中重复使用，以正则化部分边界。
• 该方法可由用户配置：部分数量K为超参数，控制分割粒度，且无论K取值如何，均能保证一致性。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖形状集合间一致真实标注的情况下，实现一致的3D形状联合分割？
• RQ2 联合分割网络如何根据特定输入集合自适应其行为，而非在输入间进行泛化？
• RQ3 可微分的基于矩阵秩的组一致性损失是否能有效强制实现形状集合中各部分之间的语义对应？
• RQ4 在缺乏强监督的情况下，弱监督部分先验网络在多大程度上提升了联合分割的质量？
• RQ5 在存在较大几何和结构变化的情况下，该方法的表现如何，尤其是与最先进联合分割方法相比？

主要发现

• AdaCoSeg 在基准数据集上达到最先进性能，其 Rand Index 分数分别为：椅子 0.055，台灯 0.059，花瓶 0.189，电吉他 0.032，在大多数类别上优于先前方法。
• 在包含9把椅子的小型测试集上，AdaCoSeg 的 Rand Index 达到 0.055，显著优于单样本示例的 BAE-NET（0.076）及其他基线方法。
• 即使在自身训练数据上，AdaCoSeg 也提升了分割一致性，椅子的 Rand Index 达到 0.09（真实标注为 0.21），表明其具有强鲁棒性和泛化能力。
• 消融实验表明，组一致性损失至关重要：应用该损失后，训练过程中的秩损失显著下降，表明优化有效。
• 该方法计算效率高：即使在迭代优化过程中，对20个每部分2,048个点的形状进行联合分割，耗时约7分钟。
• 该框架具备自适应性：同一形状可根据输入集合的不同被分割为不同数量的部分，如图1所示，体现了对上下文的敏感性。