[논문 리뷰] LapGym -- An Open Source Framework for Reinforcement Learning in Robot-Assisted Laparoscopic Surgery

Paul Maria Scheikl, Balázs Gyenes외 5명|arXiv (Cornell University)|2023. 02. 19.

Surgical Simulation and Training인용 수 19

한 줄 요약

LapGym은 로봇 보조 복강경 수술(RALS)을 위한 오픈 소스 강화 학습 프레임워크와 12개 환경으로 구성된 suite를 제시하며, 표준화된 매개변수화된 작업과 SOFA에 기반한 PPO 베이스라인을 가능하게 한다.

ABSTRACT

Recent advances in reinforcement learning (RL) have increased the promise of introducing cognitive assistance and automation to robot-assisted laparoscopic surgery (RALS). However, progress in algorithms and methods depends on the availability of standardized learning environments that represent skills relevant to RALS. We present LapGym, a framework for building RL environments for RALS that models the challenges posed by surgical tasks, and sofa_env, a diverse suite of 12 environments. Motivated by surgical training, these environments are organized into 4 tracks: Spatial Reasoning, Deformable Object Manipulation & Grasping, Dissection, and Thread Manipulation. Each environment is highly parametrizable for increasing difficulty, resulting in a high performance ceiling for new algorithms. We use Proximal Policy Optimization (PPO) to establish a baseline for model-free RL algorithms, investigating the effect of several environment parameters on task difficulty. Finally, we show that many environments and parameter configurations reflect well-known, open problems in RL research, allowing researchers to continue exploring these fundamental problems in a surgical context. We aim to provide a challenging, standard environment suite for further development of RL for RALS, ultimately helping to realize the full potential of cognitive surgical robotics. LapGym is publicly accessible through GitHub (https://github.com/ScheiklP/lap_gym).

연구 동기 및 목표

• 로봇 보조 복강경 수술(RALS)을 위한 표준화된 오픈 소스 RL 환경 모음을 제공한다.
• 여러 수술 기술 트랙에 걸쳐 구성 가능하고 점진적으로 어려운 작업을 가능하게 한다.
• SOFA를 사용한 영상 기반 관측 및 변형 가능한 물체 시뮬레이션의 통합을 촉진한다.
• 쉽게 환경을 만들고 인간 제어 및 모방 학습 데이터 수집 도구를 제공한다.

제안 방법

• SOFA 물리 엔진을 기반으로 한 RALS의 RL를 위한 오픈 소스 프레임워크로 LapGym을 소개한다.
• 공간 추론, 변형 가능한 물체 조작 및 파지, 해체, 바늘 조작을 다루는 네 개의 트랙으로 구성된 12개 과제를 포함하는 sofa 환경을 제공한다.
• 환경 구성 간의 기본 성능을 확립하기 위해 PPO를 활용한다.
• 새로운 장면과 RL 환경 생성을 단순화하기 위한 sofa 템플릿과 sofa godot를 제공한다.
• Gym 호환 인터페이스를 갖춘 RGB, RGBD, 포인트 클라우드, 시맨틱 이미지를 포함한 다중 모달 관찰을 지원한다.
• 전문가 궤적과 시연을 생성하기 위해 인간 제어와 경로 계획을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 수술 기술을 포괄하도록 RALS용 표준화되고 구성 가능한 RL 환경 모음은 어떻게 설계될 수 있는가?
• RQ2 환경 매개변수 및 관찰 유형이 RALS 작업에서 학습 난이도와 PPO 성능에 어떤 영향을 미치는가?
• RQ3 변형 가능한 물체 시뮬레이션과 영상 기반 관찰이 RALS를 위한 RL 프레임워크에서 효과적으로 활용될 수 있는가?
• RQ4 오픈 소스 도구 체인(템플릿, Godot 통합)이 SOFA 기반 장면에서 새로운 RL 작업을 만드는 장벽을 줄이는가?

주요 결과

• LapGym은 네 가지 수술 트랙에 걸친 다양하고 매개변수화가 가능한 12개의 환경 모음을 제공하여 점진적인 기술 습득을 돕는다.
• 환경은 RGB, RGBD, 포인트 클라우드, 의미적 관찰을 지원하며 표준 RL 라이브러리용 Gym 인터페이스와 호환된다.
• 기본 PPO 실험은 환경 구성을 변화시킬 때 작업 난이도와 학습 성능에 어떻게 영향을 미치는지 보여준다.
• SOFA 기반 시뮬레이션은 RL 실험에 적합한 현실적인 변형 물체 역학, 토폴로지 변화 및 RCM 제약된 기구 움직임을 가능하게 한다.
• Godot 기반의 대화형 장면 생성과 sofa 템플릿은 RL 작업을 위한 SOFA 장면 구축과 적응을 간소화한다.
• 프레임워크는 인간 시연과 플래너 생성 궤적을 지원하여 모방 학습을 돕는다.