[논문 리뷰] Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge

Junjia Liu, Jiaying Shou외 6명|arXiv (Cornell University)|2020. 02. 26.

Soft Robotics and Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 연속 로봇에서 학습을 가속화하기 위해 비명시적 사전 지식(IPK)을 통합한 모델 기반 강화 학습 프레임워크를 제안한다. 칼만 필터를 사용해 사전 행동과 RL 출력을 융합하고, 탐색과 이용의 균형을 맞추기 위해 적응형 이용 계수를 도입한다. 이 방법은 단지 10,000~20,000회의 환경 상호작용으로도 데이터 효율적이며 실제 환경에서 시각 추적과 거리 유지를 구현한다.

ABSTRACT

Compared to rigid robots that are generally studied in reinforcement learning, the physical characteristics of some sophisticated robots such as soft or continuum robots are higher complicated. Moreover, recent reinforcement learning methods are data-inefficient and can not be directly deployed to the robot without simulation. In this paper, we propose an efficient reinforcement learning method based on inexplicit prior knowledge in response to such problems. We first corroborate the method by simulation and employed directly in the real world. By using our method, we can achieve active visual tracking and distance maintenance of a tendon-driven robot which will be critical in minimally invasive procedures. Codes are available at https://github.com/Skylark0924/TendonTrack.

연구 동기 및 목표

• 복잡하고 비정적 동역학을 보이는 실제 연속 로봇에서 강화 학습의 데이터 비효율성을 해결한다.
• 부드럽고 연속 로봇 공학 분야에서 모델 자유형 RL과 전통적 운동학 모델링의 한계를 극복한다.
• 명시적인 수학적 모델이 필요 없이도 비명시적 사전 지식(IPK)을 통합해 정책 탐색을 유도한다.
• 칼만 필터 기반 제어기를 통해 사전 지식과 RL 출력을 융합함으로써 안전하고 효과적인 탐색을 보장한다.
• 이 방법이 힘줄 구동 연속 로봇에서 최소 치료 수술 작업을 위해 실제 환경 적용 가능함을 입증한다.

제안 방법

• 가장 가능성 있는 행동 영역 쪽으로 정책 탐색을 유도하기 위해 비명시적 사전 지식(IPK)을 통합한 모델 기반 RL 프레임워크를 제안한다.
• 칼만 필터를 사용해 IPK와 딥 RL의 행동 분포를 융합하여, 사전 지식과 탐색의 균형을 맞춘 하이브리드 행동 정책을 생성한다.
• IPK와 RL 행동 분포 간의 쿨백-라이블러(KL) 발산에 기반해 조정되는 적응형 이용 계수 ζ를 도입한다.
• 시뮬레이션에서 실제 환경으로의 전이 없이도 직접 물리적 로봇 상호작용에서 학습하는 실제 환경 훈련 파이프라인을 구현한다.
• 로봇의 종단 기구에 부착된 핀홀 카메라를 활용해 1인칭 시점에서의 시각 서보를 통합하여 실시간 상태 관측을 수행한다.
• 모터 인코더를 사용해 정확한 행동 실행과 안전 모니터링을 수행하여 기계적 과도 확장 방지를 한다.

실험 결과

연구 질문

• RQ1 비명시적 사전 지식이 연속 로봇의 강화 학습에서 샘플 복잡도를 크게 감소시킬 수 있는가?
• RQ2 사전 지식을 어떻게 효과적으로 딥 RL과 융합하여 탐색을 유지하면서 수렴 속도를 가속화할 수 있는가?
• RQ3 불확실한 사전 행동과 RL 출력을 융합할 때 칼만 필터 기반 융합 메커니즘이 정책 학습을 안정화시킬 수 있는가?
• RQ4 이러한 방법이 시뮬레이션-실세계 도메인 랜덤라이제이션 없이 실제 환경에 얼마나 잘 적용될 수 있는가?
• RQ5 이 방법이 단일 로봇 시스템에서 최소한의 상호작용으로 동시에 시각 추적과 축 방향 거리 유지 기능을 구현할 수 있는가?

주요 결과

• 제안된 방법은 실제 힘줄 구동 연속 로봇에서 움직이는 목표를 10,000회 이내의 환경 상호작용으로 안정적으로 시각 추적하였다.
• 높이 기반 보상 형태를 추가함으로써, 로봇은 약 20,000회의 상호작용 내에 목표와 일정한 거리를 유지하는 것을 학습하였다.
• KL 발산에 기반한 적응형 이용 계수 ζ는 사전 지식과 탐색의 균형을 성공적으로 유지하여 조기 수렴을 방지하였다.
• 실험 결과, 이 방법은 최신 모델 기반 RL 방법보다도 더 적은 상호작용 수를 요구하여 뛰어난 데이터 효율성을 입증하였다.
• 시뮬레이션-실세계 전이 없이도 실제 환경 훈련 파이프라인은 실제 환경의 불확실성을 효과적으로 포착하여 물리적 환경에서의 견고한 성능을 가능케 하였다.
• 이 방법은 물리적 로봇에 직접 구현이 가능했으며, 추적 및 거리 제어와 같은 최소 치료 수술과 관련된 작업에서 성공적인 작업 수행을 이룩하였다.