[論文レビュー] LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery

Paul Maria Scheikl, Balázs Gyenes+5 more|arXiv (Cornell University)|Feb 19, 2023

Surgical Simulation and Training被引用数 19

ひとこと要約

LapGym は、ロボット支援腹腔鏡手術（RALS）のためのオープンソースRLフレームワークとSOFA上に構築された12環境のスイートを提供し、標準化されたパラメータ可変タスクとPPOベースラインを提供します。

ABSTRACT

Recent advances in reinforcement learning (RL) have increased the promise of introducing cognitive assistance and automation to robot-assisted laparoscopic surgery (RALS). However, progress in algorithms and methods depends on the availability of standardized learning environments that represent skills relevant to RALS. We present LapGym, a framework for building RL environments for RALS that models the challenges posed by surgical tasks, and sofa_env, a diverse suite of 12 environments. Motivated by surgical training, these environments are organized into 4 tracks: Spatial Reasoning, Deformable Object Manipulation & Grasping, Dissection, and Thread Manipulation. Each environment is highly parametrizable for increasing difficulty, resulting in a high performance ceiling for new algorithms. We use Proximal Policy Optimization (PPO) to establish a baseline for model-free RL algorithms, investigating the effect of several environment parameters on task difficulty. Finally, we show that many environments and parameter configurations reflect well-known, open problems in RL research, allowing researchers to continue exploring these fundamental problems in a surgical context. We aim to provide a challenging, standard environment suite for further development of RL for RALS, ultimately helping to realize the full potential of cognitive surgical robotics. LapGym is publicly accessible through GitHub (https://github.com/ScheiklP/lap_gym).

研究の動機と目的

• 標準化されたオープンソースのRALS用RL環境スイートを提供する。
• 複数の外科技能トラックにわたる構成可能で段階的に難易度が上がるタスクを実現する。
• SOFAを用いた画像ベースの観測と変形可能オブジェクトのシミュレーションの統合を促進する。
• 環境作成、人間による制御、模倣学習データ収集のためのツールを提供する。

提案手法

• SOFA物理エンジン上のRALS向けRLフレームワークとして LapGym を導入する。
• Spatial Reasoning、Deformable Object Manipulation & Grasping、Dissection、Thread Manipulation の4つのトラックに分かれた12タスクを整理した sofa env を提供する。
• 環境構成を横断したベースライン性能を確立するためにPPOを活用する。
• 新しいシーンとRL環境の作成を簡素化するために sofa テンプレートと sofa godot を提供する。
• RGB、RGBD、ポイントクラウド、セマンティック画像などのマルチモーダル観測をGymに準择したインターフェースでサポートする。
• 専門家の軌跡とデモンストレーションを生成するために人間の制御と経路計画を組み込む。

実験結果

リサーチクエスチョン

• RQ1 RALSの標準化された、構成可能なRL環境スイートをどのように設計して広範な外科技能をカバーできるか。
• RQ2 環境パラメータと観測タイプが学習難易度とPPOの性能に与える影響は何か。
• RQ3 変形可能オブジェクトのシミュレーションと画像ベースの観測はRALSのRLフレームワークで効果的に活用できるか。
• RQ4 オープンソースのツールチェーン（テンプレート、Godot統合）はSOFAベースのシーンで新しいRLタスクを作成する障壁を下げるか。

主な発見

• LapGym は4つの外科トラックにわたる12環境の多様で高度にパラメータ化可能なスイートを提供し、漸進的なスキル学習をサポートする。
• 環境はRGB、RGBD、ポイントクラウド、セマンティック観測をサポートし、標準的なRLライブラリ向けのGymインターフェースと互換性がある。
• ベースラインPPO実験は、環境構成を変えるとタスク難易度と学習性能に影響を与えることを示す。
• SOFAベースのシミュレーションは、現実的な変形オブジェクトのダイナミクス、トポロジの変化、そしてRL実験に適したRCM制約付き機器の運動を可能にする。
• Godotベースの対話的なシーン作成と sofa テンプレートは、RLタスクのためのSOFAシーンの構築と適応を簡素化する。
• このフレームワークは模倣学習を支援するために人間のデモとプランナーによって生成された軌跡をサポートする。