[论文解读] Geometric Digital Twinning of Industrial Facilities: Retrieval of Industrial Shapes

Eva Agapaki, Ioannis Brilakis|arXiv (Cornell University)|Feb 10, 2022

3D Shape Modeling and Analysis被引用 9

一句话总结

该论文提出了一种基于深度学习的框架，结合图像与点云网络，从扫描点云中自动检索与工业部件几何相似的CAD模型，实现85.2%的匹配准确率，从而实现工业设施的自动化几何数字孪生生成。

ABSTRACT

This paper devises, implements and benchmarks a novel shape retrieval method that can accurately match individual labelled point clusters (instances) of existing industrial facilities with their respective CAD models. It employs a combination of image and point cloud deep learning networks to classify and match instances to their geometrically similar CAD model. It extends our previous research on geometric digital twin generation from point cloud data, which currently is a tedious, manual process. Experiments with our joint network reveal that it can reliably retrieve CAD models at 85.2\% accuracy. The proposed research is a fundamental framework to enable the geometric Digital Twin (gDT) pipeline and incorporate the real geometric configuration into the Digital Twin.

研究动机与目标

• 解决当前为现有工业设施生成几何数字孪生（gDT）所面临的高昂成本与人工投入问题，特别是由于几何建模阶段的劳动密集型特性。
• 通过从3D点云扫描中自动检索单个工业部件（如管道、阀门、梁）的精确CAD模型，减少对人工文档的依赖。
• 开发一种联合图像与点云分类网络，以提高将现实世界扫描部件与几何等效CAD模型匹配的准确性。
• 通过整合深度学习与工业资产几何结构，建立可扩展且可靠的几何数字孪生流程，支持预防性维护与全生命周期管理。
• 通过实现点云与CAD模型之间的实例级自动匹配，将几何建模所占gDT生成成本的90%降至最低。

提出的方法

• 采用联合深度学习网络，同时处理RGB图像与3D点云数据，对单个点云簇（实例）进行分类与匹配，以对应其CAD模型。
• 图像分类部分采用基于MobileNetV2的架构，点云处理网络则用于从扫描部件中提取几何特征。
• 使用包含25个类别（如紧固件、齿轮、轴承、管道）的18,000多个CAD模型的多类别机械部件数据集（MCB-B）对联合网络进行端到端训练。
• 基于重建点云与CAD模型特征向量之间的成对欧氏距离，应用相似性度量来评估检索性能。
• 利用合成渲染管道（Panda3D）生成CAD模型的真实感图像，用于训练网络的图像分支。
• 实施两阶段流程：首先，使用已有分割方法将点云聚类为单个组件；其次，利用联合网络对CAD模型进行分类与检索。

实验结果

研究问题

• RQ1 联合图像与点云深度学习网络能否在真实世界点云扫描中实现对单个工业部件CAD模型的高精度检索？
• RQ2 与独立的图像或点云网络相比，所提出的联合网络在分类准确率和对部分扫描的鲁棒性方面表现如何？
• RQ3 该框架在不同工业设施（如炼油厂、仓库、石化厂）中，面对多样的部件类型与扫描质量差异，其泛化能力如何？
• RQ4 预训练特征表示对检索性能有何影响，特别是在稀有或复杂机械部件方面？
• RQ5 该框架能否通过高可靠性的自动化模型检索步骤，显著降低几何数字孪生生成中的手动工作量？

主要发现

• 所提出的联合深度学习网络在检索扫描工业部件的正确CAD模型方面，实现了85.2%的top-1准确率，显著优于基线方法。
• 该联合网络在MCB(B)数据集上实现了85.3%的整体准确率，精确率为74.6%，召回率为71.7%，在多种机械部件中表现出色。
• 在T-LESS数据集上，该框架实现了88.9%的top-3与top-5准确率，表明其对扫描质量与视角变化具有强大的泛化能力与鲁棒性。
• 该方法通过自动化点云与CAD模型之间的实例级匹配，显著降低了对人工几何建模的需求，直接解决了gDT生成中主要的成本驱动因素。
• 通过主成分分析（PCA）进行的特征向量分析显示，CAD模型与重建点云之间存在清晰分离，证实了网络学习判别性几何表征的能力。
• 敏感性分析表明，预训练网络显著提升了检索性能，尤其在如卡箍和合页等低频类别中表现更优。