[论文解读] CoSegNet: Deep Co-Segmentation of 3D Shapes with Group Consistency Loss.

Chenyang Zhu, Kai Xu+4 more|arXiv (Cornell University)|Mar 25, 2019

3D Shape Modeling and Analysis参考文献 35被引用 9

一句话总结

CoSegNet 是一种弱监督深度学习框架，用于将 3D 点云形状一致地分割为用户定义的部件（最多 K 个）。它采用基于矩阵秩估计的新型组一致性损失，并结合辅助去噪网络以优化部件提案，从而在无需一致真实标注的情况下，实现形状集合中的一致标注。

ABSTRACT

We introduce CoSegNet, a deep neural network architecture for co-segmentation of a set of 3D shapes represented as point clouds. CoSegNet takes as input a set of unsegmented shapes, proposes per-shape parts, and then jointly optimizes the part labelings across the set subjected to a novel group consistency loss expressed via matrix rank estimates. The proposals are refined in each iteration by an auxiliary network that acts as a weak regularizing prior, pre-trained to denoise noisy, unlabeled parts from a large collection of segmented 3D shapes, where the part compositions within the same object category can be highly inconsistent. The output is a consistent part labeling for the input set, with each shape segmented into up to K (a user-specified hyperparameter) parts. The overall pipeline is thus weakly supervised, producing consistent segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from CoSegNet and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

研究动机与目标

• 解决在真实标注不一致或不可用时，对 3D 形状进行一致部件分割的挑战。
• 开发一种深度学习框架，通过新型组一致性损失，联合优化一组形状中的部件标注。
• 在无需对齐或一致的人工标注标签的情况下，实现对未分割 3D 形状的至多 K 个部件的一致分割。
• 利用预训练的辅助网络作为弱正则化先验，以优化来自多样化 3D 形状集合的噪声、未标注的部件提案。

提出的方法

• CoSegNet 以一组未分割的 3D 点云作为输入，为每个形状生成初始部件提案。
• 应用基于矩阵秩估计的新型组一致性损失，以在整组形状中强制实现一致的部件标注。
• 一个在大规模分割 3D 形状集合上预训练的辅助去噪网络，通过充当弱正则化先验，对初始部件提案进行优化。
• 通过端到端反向传播，联合优化所有形状中的部件标注，其中组一致性损失促进部件的结构对齐。
• 该框架为弱监督，仅依赖于输入集合的结构和预训练去噪器提供的先验知识，而非对齐的标注。
• 每个形状的部件数量由用户指定的超参数 K 控制，K 定义了每个形状的最大分割数。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需一致真实标注的情况下，实现对未对齐形状集合的一致 3D 形状联合分割？
• RQ2 基于矩阵秩的组一致性损失在强制多组 3D 形状间部件结构对齐方面有多有效？
• RQ3 预训练的去噪网络在多大程度上可作为弱正则化先验，以提升联合分割中部件提案的质量？
• RQ4 CoSegNet 在一致性和分割准确率方面与最先进联合分割方法相比表现如何？
• RQ5 该框架在具有高度不一致部件构成的同一类别内多样化 3D 形状上是否具备良好的泛化能力？

主要发现

• CoSegNet 在 3D 形状联合分割任务中达到最先进性能，在定性和定量评估中均优于现有方法。
• 所提出的基于矩阵秩估计的组一致性损失显著提升了形状集合中部件标注的一致性。
• 辅助去噪网络有效降低了初始部件提案中的噪声，从而产生更准确、更一致的分割结果。
• 消融实验表明，组一致性损失和辅助网络均对最终性能有显著贡献。
• 该框架在具有高度不一致部件构成的同一类别内形状上表现出良好泛化能力，展现出对标签变异的鲁棒性。