[논문 리뷰] Robotic Surgery With Lean Reinforcement Learning

Yotam Barnoy, Molly O’Brien외 2명|arXiv (Cornell University)|2021. 05. 03.

Reinforcement Learning in Robotics참고 문헌 23인용 수 10

한 줄 요약

이 논문은 da Vinci Skill Simulator(dVSS)를 사용하여 영상 기반 모델-프리 강화학습(RL) 시스템을 처음으로 제안하며, 시각적 입력에서 봉합 작업을 학습할 수 있도록 한다. 이는 하이브리드 배치 학습(HBL)을 도입하여 온-폴리시 및 오프-폴리시 재생 버퍼를 결합함으로써 학습 속도를 6배 이상 빠르게 하고, 상태 기반 데이터를 재사용하여 영상 기반 학습을 부스터링하는 쿠리큘럼 학습을 가능하게 한다.

ABSTRACT

As surgical robots become more common, automating away some of the burden of complex direct human operation becomes ever more feasible. Model-free reinforcement learning (RL) is a promising direction toward generalizable automated surgical performance, but progress has been slowed by the lack of efficient and realistic learning environments. In this paper, we describe adding reinforcement learning support to the da Vinci Skill Simulator, a training simulation used around the world to allow surgeons to learn and rehearse technical skills. We successfully teach an RL-based agent to perform sub-tasks in the simulator environment, using either image or state data. As far as we know, this is the first time an RL-based agent is taught from visual data in a surgical robotics environment. Additionally, we tackle the sample inefficiency of RL using a simple-to-implement system which we term hybrid-batch learning (HBL), effectively adding a second, long-term replay buffer to the Q-learning process. Additionally, this allows us to bootstrap learning from images from the data collected using the easier task of learning from state. We show that HBL decreases our learning times significantly.

연구 동기 및 목표

• 실제 로봇 수술의 역학을 재현하는 고정밀 수술 시뮬레이션 환경에서 모델-프리 강화학습을 가능하게 하기 위해.
• 복잡한 수술 작업에서 RL의 샘플 비효율성을 극복하기 위해 새로운 학습 프레임워크를 도입하기 위해.
• 에이전트가 상태 벡터가 아닌 영상 관측에서 학습하는 영상 기반 RL을 로봇 수술에 적용하기 위해.
• 더 단순한 상태 기반 작업에서의 데이터를 재사용하여 더 어려운 영상 기반 작업의 성능을 향상시키기 위해.
• 빠른 반복을 가능하게 하기 위해 실제 시뮬레이션(dVSS-RL)과 단순화된 환경(Needle Master)에서 모두 접근을 검증하기 위해.

제안 방법

• 저자들은 da Vinci Skill Simulator(dVSS)를 물리 기반의 강성 및 탄성 물체 역학을 갖춘 고정밀 시뮬레이션인 dVSS-RL로 확장하여 실제 바늘-조직 상호작용을 재현하였다.
• 이들은 영상 관측과 상태 기반 관측을 모두 사용하는 모델-프리 딥 Q-러닝을 적용하여 바늘 도달 및 봉합과 같은 하위 작업을 학습하였다.
• 데이터 효율성을 향상시키기 위해 표준 온-폴리시 재생 버퍼와 장기 오프-폴리시 재생 버퍼를 조합한 새로운 학습 체계인 하이브리드 배치 학습(HBL)을 도입하였다.
• HBL은 하이퍼파rameter α로 제어되는 온-폴리시 및 오프-폴리시 데이터의 가중 조합을 사용하여 실시간 학습과 이전 롤아웃의 재사용을 균형 있게 조절한다.
• 이 방법은 먼저 상태 기반 데이터로 학습한 후 동일한 재생 버퍼를 사용하여 영상 기반 데이터로 미세조정하는 방식으로 쿠리큘럼 학습을 지원한다.
• 이 프레임워크는 dVSS-RL과 빠르고 확장 가능한 학습이 가능한 단순화된 2D 환경인 Needle Master(NMRL)에서 평가되었다.

실험 결과

연구 질문

• RQ1 고정밀 시뮬레이션에서 영상 관측을 사용하는 모델-프리 강화학습이 로봇 수술에 성공적으로 적용될 수 있는가?
• RQ2 수천만 번의 학습 스텝이 필요한 복잡한 수술 환경에서 RL의 샘플 비효율성을 어떻게 완화할 수 있는가?
• RQ3 이전에 간단한 작업(예: 상태 기반 학습)에서 생성된 오프-폴리시 재생 데이터를 더 복잡한 영상 기반 작업의 학습 가속화에 효과적으로 재사용할 수 있는가?
• RQ4 HBL을 통해 온-폴리시 및 오프-폴리시 데이터를 조합함으로써 수술 RL에서 벽시계 기반 학습 시간을 크게 줄일 수 있는가?
• RQ5 HBL를 사용한 쿠리큘럼 학습이 영상 기반 수술 RL의 샘플 효율성에 얼마나 기여하는가?

주요 결과

• HBL에서 α = 0.96를 사용할 경우 순수 온-폴리시 학습 대비 벽시계 기반 성능이 6.7배 빨라졌으며, 학습 시간은 125.6시간에서 18.8시간으로 감소하였다.
• 봉합 작업에서 최대 누적 보상은 α = 0.9일 때 32.0에 도달하여 순수 온-폴리시(α = 0) 및 순수 오프-폴리시(α = 1.0) 설정보다 뛰어난 성능을 보였다.
• Needle Master 환경에서 HBL를 사용한 영상 기반 학습은 초기부터 학습을 시작하는 것보다 절반 이하의 스텝 수로 유사한 성공률에 도달하였다.
• 쿠리큘럼 학습을 통한 HBL는 영상 기반 학습이 원래 상태 기반 데이터 수집 성능을 샘플 효율성 측면에서 초월할 수 있도록 하였다.
• 시스템은 소프트 텍스처 상호작용이 있는 수술 로봇 시뮬레이션에서 영상 입력만으로 봉합 작업을 성공적으로 학습하였으며, 이는 소프트 조직 상호작용을 수반하는 수술 로봇 시뮬레이션에서 영상 기반 RL의 첫 번째 알려진 적용 사례이다.
• HBL에서 장기 재생 버퍼의 사용은 학습을 안정화시켰으며, 분포 이탈과 불안정성이 발생한 α = 1.0의 경우를 방지하였다.