[论文解读] LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery

Paul Maria Scheikl, Balázs Gyenes+5 more|arXiv (Cornell University)|Feb 19, 2023

Surgical Simulation and Training被引用 19

一句话总结

LapGym 提供一个开源的 RL 框架和用于机器人辅助腹腔镜手术的 12 个环境套件，支持标准化、参数化任务和建立在 SOFA 上的 PPO 基线。

ABSTRACT

Recent advances in reinforcement learning (RL) have increased the promise of introducing cognitive assistance and automation to robot-assisted laparoscopic surgery (RALS). However, progress in algorithms and methods depends on the availability of standardized learning environments that represent skills relevant to RALS. We present LapGym, a framework for building RL environments for RALS that models the challenges posed by surgical tasks, and sofa_env, a diverse suite of 12 environments. Motivated by surgical training, these environments are organized into 4 tracks: Spatial Reasoning, Deformable Object Manipulation & Grasping, Dissection, and Thread Manipulation. Each environment is highly parametrizable for increasing difficulty, resulting in a high performance ceiling for new algorithms. We use Proximal Policy Optimization (PPO) to establish a baseline for model-free RL algorithms, investigating the effect of several environment parameters on task difficulty. Finally, we show that many environments and parameter configurations reflect well-known, open problems in RL research, allowing researchers to continue exploring these fundamental problems in a surgical context. We aim to provide a challenging, standard environment suite for further development of RL for RALS, ultimately helping to realize the full potential of cognitive surgical robotics. LapGym is publicly accessible through GitHub (https://github.com/ScheiklP/lap_gym).

研究动机与目标

• 提供一个标准化的、开源的 RL 环境套件，用于机器人辅助腹腔镜手术（RALS）。
• 在多个手术技能轨迹中实现可配置、逐步增难的任务。
• 促进使用 SOFA 将基于图像的观测和可变形物体模拟集成。
• 提供用于简易环境创建、人类控制和模仿学习数据收集的工具。

提出的方法

• 将 LapGym 作为一个用于 RALS 的基于 SOFA 物理引擎的开源 RL 框架介绍。
• 提供 sofa env，包含 12 项任务，分为四个轨道，覆盖空间推理、可变形对象的操作与抓取、解剖切割与线材操作。
• 使用 PPO 在不同环境配置下建立基线性能。
• 提供 sofa 模板和 sofa godot，简化创建新场景和 RL 环境。
• 支持多模态观测，包括 RGB、RGBD、点云和语义图像，且具备符合 Gym 接口。
• 结合人类控制与路径规划以生成专家轨迹和示范数据。

实验结果

研究问题

• RQ1 如何设计一个标准化、可配置的 RALS RL 环境套件，以覆盖广范围的外科技能？
• RQ2 环境参数和观测类型对学习难度和 PPO 性能在 RALS 任务中的影响是什么？
• RQ3 在 RALS 的 RL 框架中，是否可以有效利用可变形物体模拟和基于图像的观测？
• RQ4 开源工具链（模板、Godot 集成）是否降低了在基于 SOFA 的场景中创建新 RL 任务的门槛？

主要发现

• LapGym 提供一个多样且高度可参数化的 12 环境套件，覆盖四个手术轨道，用于渐进式技能学习。
• 这些环境支持 RGB、RGBD、点云和语义观测，且与 Gym 接口兼容，便于标准 RL 库使用。
• 基线 PPO 实验展示了不同环境配置如何影响任务难度和学习表现。
• 基于 SOFA 的仿真能够实现真实的可变形对象动力学、拓扑变化和受 RCM 约束的仪器运动，适用于 RL 实验。
• 基于 Godot 的交互式场景创建和 sofa 模板简化了构建和调整 SOFA 场景以用于 RL 任务。
• 该框架支持人类演示和规划器生成的轨迹，以支持模仿学习。