[논문 리뷰] Towards Safe Control of Continuum Manipulator Using Shielded Multiagent Reinforcement Learning

Guanglin Ji, Junyan Yan외 6명|arXiv (Cornell University)|2021. 06. 15.

Soft Robotics and Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 최소 침습 수술에서 케이블 구동 연속 맨드릴의 안정적이고 고정밀 제어를 위한 실드된 다에이전트 딥 Q-네트워크(MADQN) 강화학습 프레임워크를 제안한다. 제어 문제를 1-자유도, 1-에이전트 문제로 재구성하고 동적 액션 세트 실드 메커니즘을 통합함으로써, 외부 하중, 부드러운 장애물, 경직된 충돌 조건 하에서도 마이크로미터 수준의 추적 정확도를 달성하여 복잡한 수술 환경에서의 강인성과 안전성을 입증한다.

ABSTRACT

Continuum robotic manipulators are increasingly adopted in minimal invasive surgery. However, their nonlinear behavior is challenging to model accurately, especially when subject to external interaction, potentially leading to poor control performance. In this letter, we investigate the feasibility of adopting a model-free multiagent reinforcement learning (RL), namely multiagent deep Q network (MADQN), to control a 2-degree of freedom (DoF) cable-driven continuum surgical manipulator. The control of the robot is formulated as a one-DoF, one agent problem in the MADQN framework to improve the learning efficiency. Combined with a shielding scheme that enables dynamic variation of the action set boundary, MADQN leads to efficient and importantly safer control of the robot. Shielded MADQN enabled the robot to perform point and trajectory tracking with submillimeter root mean square errors under external loads, soft obstacles, and rigid collision, which are common interaction scenarios encountered by surgical manipulators. The controller was further proven to be effective in a miniature continuum robot with high structural nonlinearitiy, achieving trajectory tracking with submillimeter accuracy under external payload.

연구 동기 및 목표

• 정확한 모델링이 어려운 고비선형성, 유연한 연속 맨드릴의 제어 과제를 해결하기 위해.
• 정밀한 동역학 및 힘 감지에 의존하는 모델 기반 제어기의 한계를 극복하기 위해, 수술 환경에서는 종종 실용적이지 않은 기술을 활용하기 위해.
• 예측 불가능한 외부 상호작용 하에서도 안전성과 고정밀도를 보장하는 모델 프리, 데이터 기반 제어 방법을 개발하기 위해.
• 복잡한 구조적 비선형성과 실시간 환경 간섭을 가진 연속 로봇에 대해 효율적이고 안정적인 학습을 가능하게 하기 위해.
• 고하중 대비 무게 비율과 극한의 탄성 변형을 가지는 표준 및 미니어처 연속 로봇에 대해 본 방법의 효과성을 입증하기 위해.

제안 방법

• 학습 효율성을 향상시키기 위해 다에이전트 딥 Q-네트워크(MADQN) 프레임워크 내에서 제어 문제를 1-자유도, 1-에이전트 문제로 재구성하기 위해.
• 안전한 탐색을 보장하기 위해 액션 세트 경계를 동적으로 조정하는 실드 기법을 구현하여 위험한 행동을 방지하기 위해.
• 학습 안정성 향상과 정책 수렴 개선을 위해 경험 재생 및 타겟 네트워크를 갖춘 딥 Q-네트워크(DQN)를 사용하기 위해.
• 추적 오차를 페널티로 삼고 목표 궤적으로의 수렴을 장려하는 보상 함수를 사용하여 에이전트를 훈련시키기 위해.
• 장애물 인식 및 반응 능력을 향상시키기 위해 상태 공간에 실시간 접촉력 피드백(FT 센서를 통해)을 통합하기 위해.
• 다양한 외부 하중 및 충돌 시나리오 하에서 물리적 2-자유도 케이블 구동 연속 맨드릴에서 훈련된 정책을 피드백 제어로 적용하기 위해.

실험 결과

연구 질문

• RQ1 모델 프리 다에이전트 강화학습 접근법이 외부 하중 및 충돌 조건 하에서도 연속 맨드릴에서 마이크로미터 수준의 추적 정확도를 달성할 수 있는가?
• RQ2 실드 메커니즘이 고차원적 비선형 제어 공간에서의 탐색 과정에서 안전성과 안정성을 어떻게 향상시키는가?
• RQ3 MADQN이 고구조적 비선형성과 극한의 탄성 변형을 가지는 로봇, 예를 들어 미니어처 니티놀 기반 신경외과용 로봇과 같은 시스템으로 얼마나 잘 일반화되는가?
• RQ4 동일한 간섭 조건 하에서 실드된 MADQN의 성능은 전통적인 운동학 기반 최적 제어기(KMOC)와 비교해 어떻게 되는가?
• RQ5 실드 메커니즘이 예측 불가능하고 갑작스러운 간섭, 예를 들어 경직된 충돌 상황을 효과적으로 처리할 수 있으며, 시스템의 안정성을 해치지 않는가?

주요 결과

• 실드된 MADQN은 10 g 외부 하중 조건 하에서 미니어처 니티놀 기반 연속 맨드릴에서 원형 궤적에 대해 0.41 mm, 정사각형 궤적에 대해 0.45 mm의 마이크로미터 수준의 루트 평균 제곱(RMS) 추적 오차를 달성하였다.
• 2N의 힘이 100초 동안 작용하는 경직된 충돌 상황에서도 최대 추적 오차가 0.62 mm로 유지되었으며, 충격 후에는 항상 0.5 mm 이하로 유지되었다.
• 본 방법은 운동학 기반 최적 제어기(KMOC)보다 뛰어난 성능을 보였으며, 동일한 하중 조건 하에서 RMS 오차는 원형 궤적 1.22 mm, 정사각형 궤적 2.14 mm를 기록하였다.
• 실드 메커니즘이 부드러운 장애물과 외부 하중과 같은 동적 간섭 상황에서도 안정적인 제어를 가능하게 하여 추적 실패나 시스템 불안정성이 발생하지 않았다.
• 초기 탄성 재료 거동을 보이는 2.2 mm 지름의 니티놀 로봇에서 고구조적 비선형성 상황에서도 본 제어기가 강인성과 적응성을 입증하였다.
• 실시간 힘 피드백 통합으로 간섭 탐지 및 반응 능력이 향상되어 예기치 않은 충돌 상황에서도 복구 능력을 확보하였다.