[论文解读] Digital Twin Synchronization: Bridging the Sim-RL Agent to a Real-Time Robotic Additive Manufacturing Control

M. Syed Ali, Saroj Kumar Giri+2 more|ArXiv.org|Jan 29, 2025

Digital Transformation in Industry被引用 3

一句话总结

该论文将Soft Actor-Critic增强学习与数字孪生相结合，实现对机器人增材制造过程的实时控制，并在Viper X300s机械臂的Unity-based仿真与ROS2同步环境中进行了验证。

ABSTRACT

With the rapid development of deep reinforcement learning technology, it gradually demonstrates excellent potential and is becoming the most promising solution in the robotics. However, in the smart manufacturing domain, there is still not too much research involved in dynamic adaptive control mechanisms optimizing complex processes. This research advances the integration of Soft Actor-Critic (SAC) with digital twins for industrial robotics applications, providing a framework for enhanced adaptive real-time control for smart additive manufacturing processing. The system architecture combines Unity's simulation environment with ROS2 for seamless digital twin synchronization, while leveraging transfer learning to efficiently adapt trained models across tasks. We demonstrate our methodology using a Viper X300s robot arm with the proposed hierarchical reward structure to address the common reinforcement learning challenges in two distinct control scenarios. The results show rapid policy convergence and robust task execution in both simulated and physical environments demonstrating the effectiveness of our approach.

研究动机与目标

• 通过强化学习和数字孪生实现智能制造中的自适应、实时控制的动机与目标。
• 开发一个基于SAC的强化学习框架，与数字孪生同步以执行机器人AM任务。
• 通过分层奖励结构在静态与动态任务之间评估迁移学习。
• 在物理机器人臂（Viper X300s）和仿真环境中验证该方法，以展示从仿真到现实的迁移。

提出的方法

• 在Unity中使用高保真仿真环境，配合URDF导入的Viper X300s实现数字孪生同步。
• 通过ROS-TCP连接器使用ROS2实现虚拟与物理机器人之间约20 ms的时延。
• 实现Soft Actor-Critic（SAC），采用离散七分支动作空间进行关节与夹具控制。
• 设计分层奖励结构以应对局部极小值、收敛性与稳定性；在不同案例中使用迁移学习。
• 在Unity中使用ML-Agents进行训练；将Case 1（静态目标）的学习权重迁移到Case 2（动态线跟踪），并与Case 3（无迁移）进行对比。
• 评估指标包括累计奖励、回合长度、策略损失、价值预测精度和熵等。

实验结果

研究问题

• RQ1 当与数字孪生同步时，基于SAC的强化学习是否能够实现对机器人AM过程的实时控制？
• RQ2 分层奖励结构加上迁移学习是否能提高静态和动态任务的训练效率与策略稳定性？
• RQ3 在对物理机器人进行最小性能下降的前提下，仿真训练得到的策略迁移到现实中的表现如何？

主要发现

• 基于SAC的强化学习与数字孪生同步在虚拟与物理机器人之间实现了大约20 ms的时延。
• 从静态任务迁移到动态任务的迁移学习显著加速收敛并提升性能，相较于未迁移的学习。
• 分层奖励结构有助于缓解局部极小值、稳定训练，从而实现更快且更可靠的收敛。
• 现实世界验证显示从仿真到Viper X300s的迁移较为平滑，在性能衰减小于5% 的情况下实现了仿真到现实的迁移。
• Case 2（带迁移的动态任务）收敛更快，累积奖励高于Case 1和Case 3。
• 在分层-迁移设置下，策略和价值损失轨迹显示更稳定、探索-利用之间的权衡更高效。