[论文解读] CAD 3D Model classification by Graph Neural Networks: A new approach based on STEP format

Lorenzo Mandelli, S. Berretti|arXiv (Cornell University)|Oct 30, 2022

Manufacturing Process and Optimization被引用 5

一句话总结

该论文提出了一种基于图神经网络（GNN）的新方法，直接从原生STEP格式文件中对3D CAD模型进行分类与检索，将几何原语转换为图结构而无需格式转换。该方法在自建数据集上实现了98.9%的mAP，优于PointNet++，并达到与MVCNN在等效3D格式上的性能水平。

ABSTRACT

In this paper, we introduce a new approach for retrieval and classification of 3D models that directly performs in the Computer-Aided Design (CAD) format without any conversion to other representations like point clouds or meshes, thus avoiding any loss of information. Among the various CAD formats, we consider the widely used STEP extension, which represents a standard for product manufacturing information. This particular format represents a 3D model as a set of primitive elements such as surfaces and vertices linked together. In our approach, we exploit the linked structure of STEP files to create a graph in which the nodes are the primitive elements and the arcs are the connections between them. We then use Graph Neural Networks (GNNs) to solve the problem of model classification. Finally, we created two datasets of 3D models in native CAD format, respectively, by collecting data from the Traceparts model library and from the Configurators software modeling company. We used these datasets to test and compare our approach with respect to state-of-the-art methods that consider other 3D formats. Our code is available at https://github.com/divanoLetto/3D_STEP_Classification

研究动机与目标

• 解决大型存储库中3D CAD模型手动分类效率低且易出错的挑战。
• 克服现有3D模型分类方法依赖点云或网格等转换格式的局限性，这些格式会丢失几何与参数化信息。
• 通过利用STEP格式固有的链接结构，实现在原生CAD数据上的直接学习。
• 构建并验证一个用于分类与检索任务的新型原生STEP格式3D CAD模型基准数据集。
• 证明应用于图结构CAD数据的GNN在性能上优于在转换后3D格式上训练的最先进模型。

提出的方法

• 将STEP格式的3D CAD模型转换为图表示，其中节点代表几何原语（如曲面、顶点），边代表它们之间的拓扑连接。
• 利用图卷积网络（GCNs）从图结构CAD数据中学习分层的结构特征，用于分类与检索。
• 从GNN的最终softmax层提取特征向量，使用余弦距离进行基于相似度的检索。
• 构建两个原生CAD模型的自定义数据集：一个来自Traceparts在线图书馆，另一个来自Configurators s.r.l.软件公司，均经人工分类为不同类别。
• 应用余弦相似度度量比较特征向量，并使用mAP计算检索评估的平均精度。
• 通过评估不同GNN层的特征提取效果优化模型性能，选择softmax层作为mAP最优的特征提取层。

实验结果

研究问题

• RQ1 当直接处理原生STEP格式而无需转换为点云或网格时，图神经网络能否有效分类3D CAD模型？
• RQ2 在图转换后的CAD数据上，GNN的性能与在转换后3D格式上训练的最先进模型（如PointNet++和MVCNN）相比如何？
• RQ3 特征向量提取层（如softmax层与早期全连接层）对使用mAP作为度量的检索性能有何影响？
• RQ4 CAD模型的结构复杂度（如节点数和弧数）在多大程度上影响图表示的可扩展性与内存占用？
• RQ5 CAD模型中的分层与参数化信息是否可进一步利用，以在仅依赖几何类型的基础上进一步提升分类准确率？

主要发现

• 所提出的基于GNN的方法在第一个自定义数据集上，使用softmax层的特征向量与余弦距离，实现了0.989的平均平均精度（mAP）。
• 该模型在第一个数据集上达到100%的分类准确率，在第二个数据集上达到97.5%，表明其在原生CAD数据上具有强大的泛化能力。
• softmax层产生的mAP最高，显著优于早期层（如使用ReLU的首个全连接层，mAP为0.919），证实其在检索任务中的有效性。
• 该方法在等效数据转换为点云后，性能优于PointNet++，并在多个2D视图表示上达到或超过MVCNN的性能。
• 图存储大小随节点数和弧数线性增长，40K节点的图最多需11MB（.graphml文件），表明复杂模型存在内存与可扩展性挑战。
• 研究发现，图尺寸方差较大的模型（如第2类）更难分类，表明数据对结构不规则性较为敏感。