[論文レビュー] Towards Safe Control of Continuum Manipulator Using Shielded Multiagent Reinforcement Learning

Guanglin Ji, Junyan Yan+6 more|arXiv (Cornell University)|Jun 15, 2021

Soft Robotics and Applications参考文献 27被引用数 5

ひとこと要約

本論文は、最小侵襲外科学におけるケーブル駆動連続マニピュレータの安全で高精度な制御を目的として、シールド付きマルチエージェント深層Qネットワーク（MADQN）強化学習フレームワークを提案する。1自由度・1エージェント問題として制御を定式化し、動的アクションセットシールド機構を統合することで、外部負荷、ソフトオブストラクション、剛性衝突の下でもサブミリメートルオーダーの追従精度を達成し、複雑な手術シナリオにおけるロバスト性と安全性を示した。

ABSTRACT

Continuum robotic manipulators are increasingly adopted in minimal invasive surgery. However, their nonlinear behavior is challenging to model accurately, especially when subject to external interaction, potentially leading to poor control performance. In this letter, we investigate the feasibility of adopting a model-free multiagent reinforcement learning (RL), namely multiagent deep Q network (MADQN), to control a 2-degree of freedom (DoF) cable-driven continuum surgical manipulator. The control of the robot is formulated as a one-DoF, one agent problem in the MADQN framework to improve the learning efficiency. Combined with a shielding scheme that enables dynamic variation of the action set boundary, MADQN leads to efficient and importantly safer control of the robot. Shielded MADQN enabled the robot to perform point and trajectory tracking with submillimeter root mean square errors under external loads, soft obstacles, and rigid collision, which are common interaction scenarios encountered by surgical manipulators. The controller was further proven to be effective in a miniature continuum robot with high structural nonlinearitiy, achieving trajectory tracking with submillimeter accuracy under external payload.

研究の動機と目的

• 正確なモデル化が困難な、極めて非線形的かつ柔軟性のある連続マニピュレータの制御という挑戦に取り組む。
• 正確な動的特性と力センシングに依存するモデルベース制御器の限界を克服し、手術環境ではしばしば現実的でないものを補完する。
• 予測不能な外部相互作用下でも安全性と高精度を保証する、モデルフリーでデータ駆動の制御アプローチを開発する。
• 複雑な構造的非線形性とリアルタイムの環境摂動を伴う連続ロボットにおける、効率的で安定した学習を実現する。
• 高い荷重対重量比と極めて高い柔軟性を示す標準的およびミニチュア連続ロボットに対して、本手法の有効性を実証する。

提案手法

• 学習効率を向上させるために、マルチエージェント深層Qネットワーク（MADQN）フレームワーク内での1自由度・1エージェント問題として制御問題を定式化する。
• 安全な行動を防止し、探索中の安全性を保証するため、動的アクションセット境界を調整するシールド機構を実装する。
• 訓練の安定化とポリシー収束の向上を図るため、経験リプレイとターゲットネットワークを備えた深層Qネットワーク（DQN）を用いる。
• 追従誤差をペナルティ化し、望ましい軌道への収束を促進する報酬関数を用いてエージェントを訓練する。
• 状態空間にリアルタイムの接触力フィードバック（FTセンサを介して）を統合し、摂動への認識力と応答性を向上させる。
• さまざまな外部負荷および衝突シナリオ下で、物理的な2自由度ケーブル駆動連続マニピュレータ上で、学習済みポリシーを閉ループ制御に適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーなマルチエージェント強化学習アプローチは、外部負荷および衝突下でも連続マニピュレータでサブミリメートルオーダーの追従精度を達成できるか？
• RQ2 シールド機構は、高次元かつ非線形な制御空間における探索段階で、安全性と安定性をどのように向上させるか？
• RQ3 MADQNは、極めて高い構造的非線形性と極めて高い柔軟性を示すロボット、例えばミニチュアニチノールベースのニューロスカルプチャルロボットなどに、どの程度一般化可能か？
• RQ4 同一の摂動条件下で、シールド付きMADQNの性能は、従来の運動学ベース最適制御器（KMOC）と比べてどの程度優れているか？
• RQ5 シールド機構は、未知で突然発生する摂動、例えば剛性衝突に対しても、システムの安定性を損なわず効果的に対処できるか？

主な発見

• シールド付きMADQNは、10 gの外部負荷下で、ミニチュアニチノールベースの連続マニピュレータにおいて、円形軌道で0.41 mm、四角形軌道で0.45 mmのサブミリメートルオーダーの平均二乗誤差（RMS）を達成した。
• 2 Nの力が100秒間作用する剛性衝突下でも、最大追従誤差は0.62 mmにとどまり、衝突後は常に0.5 mm未満の誤差を維持した。
• 本手法は運動学ベース最適制御器（KMOC）を上回り、同じ負荷条件で円形軌道で1.22 mm、四角形軌道で2.14 mmのRMS誤差を示した。
• シールド機構により、ソフトオブストラクションや外部負荷を伴う動的摂動下でも、安定した制御が可能となり、追従性の喪失やシステムの不安定化が発生しなかった。
• 超弾性材料挙動を示す2.2 mm径のニチノールロボットのような、極めて高い構造的非線形性を示す状況でも、制御器はロバストで適応可能であった。
• リアルタイムの力フィードバックの統合により、摂動の検出と応答性が向上し、予期しない衝突からの回復能力に寄与した。