[论文解读] Multisensor fusion-based digital twin in additive manufacturing for in-situ quality monitoring and defect correction

Lequn Chen, Xiling Yao+3 more|arXiv (Cornell University)|Apr 12, 2023

Additive Manufacturing Materials and Processes被引用 6

一句话总结

本文提出了一种基于多传感器融合的数字孪生系统，用于机器人激光直接能量沉积增材制造中的实时质量监控与原位缺陷修正。通过在三维零件体积内同步并注册来自声学、红外热成像、同轴视觉和激光线扫描传感器的数据，该系统实现了缺陷的实时检测，并能自动生成纠正用的机器人路径与工艺参数，显著提升了制造可靠性并减少了浪费。

ABSTRACT

Early detection and correction of defects are critical in additive manufacturing (AM) to avoid build failures. In this paper, we present a multisensor fusion-based digital twin for in-situ quality monitoring and defect correction in a robotic laser direct energy deposition process. Multisensor fusion sources consist of an acoustic sensor, an infrared thermal camera, a coaxial vision camera, and a laser line scanner. The key novelty and contribution of this work are to develop a spatiotemporal data fusion method that synchronizes and registers the multisensor features within the part's 3D volume. The fused dataset can be used to predict location-specific quality using machine learning. On-the-fly identification of regions requiring material addition or removal is feasible. Robot toolpath and auto-tuned process parameters are generated for defecting correction. In contrast to traditional single-sensor-based monitoring, multisensor fusion allows for a more in-depth understanding of underlying process physics, such as pore formation and laser-material interactions. The proposed methods pave the way for self-adaptation AM with higher efficiency, less waste, and cleaner production.

研究动机与目标

• 为解决增材制造中在原位缺陷检测与修正的关键挑战，防止制造失败。
• 开发一种时空数据融合框架，整合来自声学、热成像、视觉和激光扫描等多种异构传感器的数据。
• 利用融合后的传感器数据，通过机器学习实现实时、位置特定的质量预测。
• 通过自适应机器人路径规划与工艺参数调节，实现纠正动作的自动化。
• 通过多传感器集成，深化对复杂物理现象（如孔隙形成与激光-材料相互作用）的理解。

提出的方法

• 采用四种传感器：声发射传感器、红外热成像相机、同轴视觉相机和激光线扫描仪，实现对制造过程的全面监控。
• 开发一种时空数据融合方法，将传感器特征在增材制造零件的三维空间内实现同步与配准。
• 利用在融合数据集上训练的机器学习模型，实现实时预测特定位置的零件质量。
• 实施自适应反馈回路，当检测到缺陷时触发纠正措施。
• 生成动态机器人路径并自动调节工艺参数（如激光功率、扫描速度），以实现材料的添加或去除。
• 将传感器数据与数字孪生模型集成，实现实时仿真与制造过程控制。

实验结果

研究问题

• RQ1 在增材制造过程中，如何有效实现多种异构传感器在三维体积分空间内的同步与配准？
• RQ2 与单传感器方法相比，多传感器融合在多大程度上提升了在原位缺陷检测的准确性与可靠性？
• RQ3 能否利用融合后的传感器数据实现实时质量预测，以支持及时的纠正干预？
• RQ4 自动生成功能纠正路径与工艺参数在恢复零件质量方面的有效性如何？
• RQ5 通过多传感器融合，能够获得关于激光-材料相互作用与缺陷形成机理的哪些新见解？

主要发现

• 所提出的时空融合方法成功地在三维制造体积内同步并配准了来自四种不同传感器的数据，实现了全面的过程监控。
• 基于融合数据训练的机器学习模型实现了准确的、位置特定的质量预测，支持异常的早期检测。
• 成功实现了对需要材料添加或去除区域的实时识别，支持即时纠正。
• 通过自动生成功能纠正的机器人路径与工艺参数，减少了对后续加工的需求，并提升了制造可靠性。
• 通过集成传感器数据，系统显著增强了对复杂物理现象（如孔隙形成与激光-材料相互作用）的理解。
• 该方法显著减少了材料浪费，支持更清洁、更高效的自适应增材制造过程。