[論文レビュー] A Novel Sample-efficient Deep Reinforcement Learning with Episodic Policy Transfer for PID-Based Control in Cardiac Catheterization Robots

Olatunji Mumini Omisore, Toluwanimi Oluwadara Akinyemi+3 more|arXiv (Cornell University)|Oct 28, 2021

Mechanical Circulatory Support Devices参考文献 20被引用数 8

ひとこと要約

本論文は、ロボット心臓カテーテル治療における適応的PIDチューニングのための、エピソード的ポリシー転送を備えたサンプル効率の良い深層強化学習フレームワークを提案する。エピソード間で継続的なポリシー転送を可能にすることで、エージェントは平均誤差がたった0.003 mmにとどまる正確な軸方向運動制御を達成し、シミュレーションおよび実世界の試験において、従来の手法に比べて安定性と性能が著しく向上した。

ABSTRACT

Robotic catheterization is typically used for percutaneous coronary intervention procedures nowadays and it involves steering flexible endovascular tools to open up occlusion in the coronaries. In this study, a sample-efficient deep reinforcement learning with episodic policy transfer is, for the first time, used for motion control during robotic catheterization with fully adaptive PID tuning strategy. The reinforcement model aids the agent to continuously learn from its interactions in its environment and adaptively tune PID control gains for axial navigation of endovascular tool. The model was validated for axial motion control of a robotic system designed for intravascular catheterization. Simulation and experimental trials were done to validate the application of the model, and results obtained shows it could self-tune PID gains appropriately for motion control of a robotic catheter system. Performance comparison with conventional methods in average of 10 trials shows the agent tunes the gain better with error of 0.003 mm. Thus, the proposed model would offer more stable set-point motion control robotic catheterization.

研究の動機と目的

• ロボットカテーテル制御における深層強化学習のサンプル非効率性という課題に対処すること。
• 柔軟な血管内ツールの軸方向ナビゲーション中に、リアルタイムで適応的PIDゲインチューニングを可能にすること。
• ロボット心臓カテーテル治療システムにおける運動制御の安定性と正確性を向上させること。
• シミュレーションおよび専用のロボットプラットフォームを用いた実験的試験を通じて、提案手法の妥当性を検証すること。
• 従来のPIDチューニング手法に比べて優れた性能を示すことを示すこと。

提案手法

• フレームワークは、エージェントが環境と相互作用することで最適なPIDゲインを学習できるように、深層強化学習（DRL）を採用する。
• エピソード的ポリシー転送を実装し、過去のエピソードからの知識を転送することで、サンプル効率を向上させ、収束を加速する。
• エージェントはカテーテルの軸方向位置からのリアルタイムフィードバックに基づき、継続的にPID制御パラメータ（Kp、Ki、Kd）を適応させる。
• 位置誤差と制御努力をペナルティ化する報酬関数を設計し、安定的かつ正確な運動を指向する。
• シミュレーテッドおよび物理的環境における軸方向ナビゲーションを想定し、ロボットカテーテル治療システムに手法を統合する。
• 学習の安定化を図るため、経験リプレイとターゲットネットワークをトレーニングプロセスに活用し、DQNベースの手法に類似したアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 エピソード的ポリシー転送は、ロボットカテーテル制御におけるDRLのサンプル効率を著しく向上させるか？
• RQ2 エージェントはリアルタイムでPIDゲインを適応させることで、正確な軸方向運動制御を維持できるか？
• RQ3 制御精度という観点から、提案手法は従来のPIDチューニング手法に比べてどの程度の性能向上を達成するか？
• RQ4 シミュレーションと実世界の実験的試験の間で、モデルの一般化性能はいかがなっているか？
• RQ5 動的な血管環境下でも、最小限の追従誤差で安定したセットポイント制御を達成できるか？

主な発見

• 10回の試行において、提案手法は平均追従誤差がたった0.003 mmにとどまり、軸方向運動制御の高精度を実証した。
• 従来のPIDチューニングに比べ、エージェントは顕著に低い位置誤差と向上した安定性を示した。
• エピソード的ポリシー転送により、収束が早まり、より高いサンプル効率が達成され、有効な学習に必要なエピソード数が削減された。
• 本手法は、シミュレーションおよび実世界の実験的試験の両方で成功裏に検証され、その頑健性と実用的応用可能性が確認された。
• 適応的PIDチューニング戦略により、オンラインでのゲインの継続的調整が可能となり、カテーテル環境の動的変化への対応性が向上した。
• フレームワークは安定したセットポイント制御を示し、これは安全かつ効果的な経皮的冠動脈インターベンション手技に不可欠である。