[论文解读] 3D Shape Segmentation via Shape Fully Convolutional Networks

Pengyu Wang, Yuan Gan+5 more|arXiv (Cornell University)|Feb 28, 2017

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

本文提出形状全卷积网络（SFCN），一种新颖的全卷积架构，用于直接在三角形网格上进行3D形状分割，通过将网格建模为图结构。该方法引入了针对形状的卷积与池化操作，利用三种低级几何特征实现端到端的三角形到三角形学习，并通过SFCN预测结合基于特征投票的多标签图割优化，在混合类别数据集上实现了最先进性能。

ABSTRACT

We desgin a novel fully convolutional network architecture for shapes, denoted by Shape Fully Convolutional Networks (SFCN). 3D shapes are represented as graph structures in the SFCN architecture, based on novel graph convolution and pooling operations, which are similar to convolution and pooling operations used on images. Meanwhile, to build our SFCN architecture in the original image segmentation fully convolutional network (FCN) architecture, we also design and implement a generating operation} with bridging function. This ensures that the convolution and pooling operation we have designed can be successfully applied in the original FCN architecture. In this paper, we also present a new shape segmentation approach based on SFCN. Furthermore, we allow more general and challenging input, such as mixed datasets of different categories of shapes} which can prove the ability of our generalisation. In our approach, SFCNs are trained triangles-to-triangles by using three low-level geometric features as input. Finally, the feature voting-based multi-label graph cuts is adopted to optimise the segmentation results obtained by SFCN prediction. The experiment results show that our method can effectively learn and predict mixed shape datasets of either similar or different characteristics, and achieve excellent segmentation results.

研究动机与目标

• 为解决将全卷积网络应用于缺乏图像规则网格结构的不规则3D网格数据的挑战。
• 设计基于图的卷积与池化机制，实现在3D形状上的有效特征学习，类似于图像全卷积网络的实现方式。
• 实现无需固定网格分辨率或形状专用架构的端到端三角形到三角形分割。
• 通过特征互补性与多标签图割后处理提升分割精度。
• 在混合数据集场景下展示强泛化能力，涵盖不同类别与特性的形状。

提出的方法

• 将3D形状表示为图结构，其中节点为三角形，边表示邻接关系，以支持基于图的操作。
• 设计新型形状卷积与池化层，将图像上的操作泛化至不规则网格拓扑。
• 引入生成操作作为桥梁，将形状卷积整合至原始FCN架构中，实现端到端训练。
• 使用三种低级几何特征（如曲率、法线等）作为输入，以提升特征表示能力。
• 应用基于投票的多标签图割优化以细化SFCN预测，提升边界平滑性与标签一致性。
• 在SFCN架构中使用跳跃连接，以在分割过程中保留细粒度细节。

实验结果

研究问题

• RQ1 能否有效将全卷积网络适配至具有不规则结构的3D网格数据，类似其在2D图像上的成功应用？
• RQ2 如何设计图卷积与池化操作，以在3D形状中保留几何与拓扑信息？
• RQ3 单一SFCN模型能否在混合数据集设置下跨多样化形状类别实现泛化？
• RQ4 多特征融合与后处理优化在多大程度上提升分割精度与边界质量？
• RQ5 所提方法是否在小型与大型3D形状数据集上均优于现有最先进方法？

主要发现

• 所提出的SFCN在3D形状分割任务中实现了最先进性能，在基准数据集与混合类别数据集上均优于现有方法。
• 该方法在不同形状类别间泛化良好，在COSEG混合数据集上训练与测试时，准确率下降极小。
• 经多标签图割优化后，分割精度显著提升，定量结果表明F1分数提高且边界更平滑。
• 随着网络深度增加，网络收敛速度加快，且分割质量随之提升（评估中最多达五层）。
• 该模型实现了无需固定网格分辨率或人工网格预处理的端到端三角形到三角形学习。
• 多特征输入与图割优化的结合显著提升了分割一致性与准确性，尤其在复杂几何区域表现更优。