[논문 리뷰] Deep Reinforcement Learning in Surgical Robotics: Enhancing the Automation Level

Qian Cheng, Hongliang Ren|arXiv (Cornell University)|2023. 09. 02.

Surgical Simulation and Training인용 수 6

한 줄 요약

이 문헌 고찰은 수술 로봇의 자동화 향상을 위해 심층 강화학습(DRL)을 탐색하며, 수술 전, 수술 중 및 경피적 절차에 응용된 사례를 분석한다. DRL이 봉합 및 조직 조작과 같은 복잡한 작업을 더 높은 정밀도와 자율성으로 학습할 수 있음을 보여주며, 최소 침습 수술의 발전 잠재력을 보여준다.

ABSTRACT

Surgical robotics is a rapidly evolving field that is transforming the landscape of surgeries. Surgical robots have been shown to enhance precision, minimize invasiveness, and alleviate surgeon fatigue. One promising area of research in surgical robotics is the use of reinforcement learning to enhance the automation level. Reinforcement learning is a type of machine learning that involves training an agent to make decisions based on rewards and punishments. This literature review aims to comprehensively analyze existing research on reinforcement learning in surgical robotics. The review identified various applications of reinforcement learning in surgical robotics, including pre-operative, intra-body, and percutaneous procedures, listed the typical studies, and compared their methodologies and results. The findings show that reinforcement learning has great potential to improve the autonomy of surgical robots. Reinforcement learning can teach robots to perform complex surgical tasks, such as suturing and tissue manipulation. It can also improve the accuracy and precision of surgical robots, making them more effective at performing surgeries.

연구 동기 및 목표

• 수술 로봇 분야에서 심층 강화학습(DRL) 응용의 현재 상태를 분석하기 위해.
• 다양한 수술 단계에서 수술 자동화를 위한 DRL의 핵심 연구 추세와 방법론을 규명하기 위해.
• 로봇 수술 시스템의 정확도, 정밀도 및 자율성 향상에 있어 DRL의 성능과 잠재력을 평가하기 위해.
• 수술 로봇 분야의 기존 연구를 작업 복잡도, 보상 설계 및 학습 결과 측면에서 비교하기 위해.

제안 방법

• 2015년부터 2023년까지 수술 로봇 분야의 DRL에 관한 동료 심사 논문을 대상으로 체계적 문헌 검토를 수행하였다.
• 수술 절차 유형(수술 전, 복강 내, 경피적 치료)에 따라 연구를 분류하였다.
• 강화학습 프레임워크 분석을 포함하여 상태 표현, 행동 공간 및 보상 형상화 기법을 분석하였다.
• DQN, PPO, SAC와 같은 DRL 알고리즘의 수술 작업 학습에 대한 비교 분석을 수행하였다.
• 연구에서 사용된 시뮬레이션 환경 평가를 포함하여 가상 및 물리적 수술 시뮬레이터를 분석하였다.
• 다양한 수술 작업 간의 작업 성능, 수렴 속도 및 일반화 능력에 대한 연구 결과를 종합하였다.

실험 결과

연구 질문

• RQ1 로봇 수술 시스템에서 심층 강화학습은 수술 절차의 다양한 단계에 어떻게 적용되는가?
• RQ2 수술 로봇 연구에서 지배적인 DRL 알고리즘과 보상 형상화 전략은 무엇인가?
• RQ3 다양한 상태 표현과 행동 공간은 학습 효율성과 작업 성능에 어떤 영향을 미치는가?
• RQ4 실제 수술 자동화에 DRL를 적용할 때의 주요 과제와 한계는 무엇인가?
• RQ5 伝통적 제어 방법에 비해 DRL은 수술 로봇 작업의 정밀도, 정확도 및 자율성 향상에 어느 정도 기여하는가?

주요 결과

• DRL은 봉합 및 조직 조작과 같은 복잡한 수술 작업의 자율적 실행 가능성을 높게 보여주며 강력한 잠재력을 보였다.
• 연구 결과, 적절한 보상 형상화를 통해 DRL 기반 시스템은 시뮬레이션 환경에서 정확도와 정밀도 향상을 달성하였다.
• 적절히 설계된 보상 함수는 수술 로봇 응용 분야에서 학습 수렴과 작업 성공률 향상에 크게 기여하였다.
• 평가된 알고리즘 중 PPO와 SAC는 DQN에 비해 복잡한 수술 작업에서 더 뛰어난 안정성과 성능을 보였다.
• 시뮬레이션 기반 훈련은 물리적 로봇 플랫폼으로 정책 전이를 효과적으로 가능하게 했지만, 일반화 문제는 여전히 도전 과제로 남아 있다.
• 경피적 및 복강 내 수술 절차에 DRL 통합은 침습도 감소와 절차적 결과 향상 측면에서 잠재력을 보였다.