[論文レビュー] Digital Twin Synchronization: Bridging the Sim-RL Agent to a Real-Time Robotic Additive Manufacturing Control

M. Syed Ali, Saroj Kumar Giri+2 more|ArXiv.org|Jan 29, 2025

Digital Transformation in Industry被引用数 3

ひとこと要約

本論文は、Soft Actor-Critic強化学習をデジタルツインと統合し、ロボット系アディティブマニュファクチャリングプロセスのリアルタイム制御を可能にする。UnityベースのシミュレーションとROS2同期を用いてViper X300sアームで検証。

ABSTRACT

With the rapid development of deep reinforcement learning technology, it gradually demonstrates excellent potential and is becoming the most promising solution in the robotics. However, in the smart manufacturing domain, there is still not too much research involved in dynamic adaptive control mechanisms optimizing complex processes. This research advances the integration of Soft Actor-Critic (SAC) with digital twins for industrial robotics applications, providing a framework for enhanced adaptive real-time control for smart additive manufacturing processing. The system architecture combines Unity's simulation environment with ROS2 for seamless digital twin synchronization, while leveraging transfer learning to efficiently adapt trained models across tasks. We demonstrate our methodology using a Viper X300s robot arm with the proposed hierarchical reward structure to address the common reinforcement learning challenges in two distinct control scenarios. The results show rapid policy convergence and robust task execution in both simulated and physical environments demonstrating the effectiveness of our approach.

研究の動機と目的

• RLとデジタルツインを通じたスマート製造における適応的・リアルタイム制御の動機付け。
• デジタルツインと同期したSACベースのRLフレームワークをロボットAMタスクに適用。
• 静的・動的タスクを横断する階層報酬構造を用いた転移学習の評価。
• 実機ロボットアーム（Viper X300s）およびシミュレーションでの検証を通じた現実との転移のデモ。

提案手法

• URDFをインポートしたViper X300sを用いたデジタルツイン同期を実現する高忠実度シミュレーション環境としてUnityを使用。
• 仮想ロボットと実機ロボット間の約20 msレイテンシを達成するためROS-TCPコネクターを介したROS2を採用。
• 関節とグリッパ制御のため、離散的な7通りのアクション空間を持つSoft Actor-Critic (SAC)を実装。
• 局所極小値、収束性、安定性に対応する階層的報酬構造を設計し、ケース間で転移学習を行う。
• Unity上でML-Agentsを用いて学習し、Case 1（静的ターゲット）からCase 2（動的ライン追従）へ学習済み重みを転移し、Case 3（転移なし）と比較。
• 累積報酬、エピソード長、ポリシー損失、値予測精度、エントロピーなどのパフォーマンス指標を評価。

実験結果

リサーチクエスチョン

• RQ1 デジタルツインと同期したSACベースの強化学習は、ロボットAMプロセスのリアルタイム制御を実現できるか。
• RQ2 階層報酬構造と転移学習は、静的・動的タスク間の学習効率とポリシー安定性を改善するか。
• RQ3 シミュレーションで学習したポリシーは、実機ロボットへどの程度性能低下を伴わず転移できるか。

主な発見

• デジタルツイン同期を備えたSACベースのRLは、仮想と実機の間で約20 msのレイテンシを達成する。
• 静的タスクから動的タスクへの転移学習は、転移なしの学習より収束を著しく早め、性能を向上させる。
• 階層的報酬構造は局所最適解を緩和し、訓練を安定化させ、より速く、信頼性の高い収束を可能にする。
• シミュレーションからViper X300sへの現実世界での転移は、性能低下が5%未満に抑えられ、現実性の高い転移を示す。
• Case 2（転移ありの動的タスク）はCase 1またはCase 3よりも早く収束し、累積報酬も高い。
• ポリシーと値の損失の推移は、階層的転移設定下で安定性が向上し、探索-利用のバランスがより効率的になることを示す。