[論文レビュー] Open-Sourced Reinforcement Learning Environments for Surgical Robotics

Florian Richter, Ryan K. Orosco+1 more|arXiv (Cornell University)|Mar 5, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 64

ひとこと要約

本論文はdVRLを提案する。 da Vinci Research Kit の初のオープンソースRL環境で、RLアルゴリズムのプロトタイピングを容易にし、学習ポリシーを実機ロボットへ転送可能にする。Behavioral cloningを用いたDDPG+HERを実証し、吸引とゴミ除去タスクのシムツーリアル転送に成功を示す。

ABSTRACT

Reinforcement Learning (RL) is a machine learning framework for artificially intelligent systems to solve a variety of complex problems. Recent years has seen a surge of successes solving challenging games and smaller domain problems, including simple though non-specific robotic manipulation and grasping tasks. Rapid successes in RL have come in part due to the strong collaborative effort by the RL community to work on common, open-sourced environment simulators such as OpenAI's Gym that allow for expedited development and valid comparisons between different, state-of-art strategies. In this paper, we aim to start the bridge between the RL and the surgical robotics communities by presenting the first open-sourced reinforcement learning environments for surgical robots, called dVRL[3]{dVRL available at https://github.com/ucsdarclab/dVRL}. Through the proposed RL environments, which are functionally equivalent to Gym, we show that it is easy to prototype and implement state-of-art RL algorithms on surgical robotics problems that aim to introduce autonomous robotic precision and accuracy to assisting, collaborative, or repetitive tasks during surgery. Learned policies are furthermore successfully transferable to a real robot. Finally, combining dVRL with the over 40+ international network of da Vinci Surgical Research Kits in active use at academic institutions, we see dVRL as enabling the broad surgical robotics community to fully leverage the newest strategies in reinforcement learning, and for reinforcement learning scientists with no knowledge of surgical robotics to test and develop new algorithms that can solve the real-world, high-impact challenges in autonomous surgery.

研究の動機と目的

• RLと外科ロボティクスを橋渡しするため、da Vinci Research Kit (dVRL) のオープンソースRL環境を提供する。
• シミュレーションで学習したポリシーが実機のdVRKシステムへ効果的に転送されることを実証する。
• 現代的なRL手法（DDPG、HER）が外科手術風のリーチとピックタスクを解決できることを示す。
• 専門分野のエキスパートでなくても、現実的な手術環境でRLを実験できるようにする。
• 標準化されたRLインターフェースを通じた広範なコミュニティ協力の潜在性を強調する。

提案手法

• 環境は OpenAI Gym API を継承し、同期モードで物理シミュレーションには V-REP を使用する。
• 単一のPSMアームとツール非依存アクションによるエンドエフェクタ空間制御で、ツールの転用性を可能にする。
• 2つのゴール指向タスク: PSM Reach（エンドエフェクタをゴールへ移動）と PSM Pick（物体を掴んでゴールへ移動）。
• ポリシー学習には DDPG with HER を用い、探索とサンプル効率を向上させるために behavioral cloning を補助的に用いる。
• シミュレーションで学習されたポリシーは、順運動学と DH-パラメータに基づくツール統合を用いて実機のdVRKへ転送される。

実験結果

リサーチクエスチョン

• RQ1 軽量なシミュレータで学習したRLポリシーは最小限の適応で実機のdVRKに転送できるか？
• RQ2 エンドエフェクタ空間のポリシーは異なるEndoWristsやツール間で一般化できるか？
• RQ3 外科ロボティクス環境におけるリーチとピックタスクで、現代的なRL手法（DDPG+HER、BC）はどのように機能するか？
• RQ4 自律または支援的な手術サブタスクのシムツーリアル転送における実践的利得は何か？

主な発見

• behavioral cloning を用いた DDPG+HER は、シミュレーションで PSM Reach と PSM Pick の両方を解決した。
• ポリシーが実機のdVRKへ50 Hzで転送され、吸引と debris removal のシナリオでタスク完遂が実証された。
• PSM Reach ポリシーは、1000 シミュレーションステップを与えたときに 100% の成功を達成した（訓練時は 100 ステップ）。
• Docker コンテナを用いた並列シミュレーションは学習効率を高める（ロールアウト時間の短縮）。
• 吸引ツールと LND は学習済みポリシーを実行でき、再現された腹腔シーンで自動的なデブリ除去とアシスタントへの引き渡しを可能にした。