[논문 리뷰] Residual Learning from Demonstration.

Todor Davchev, Kevin Sebastian Luck외 4명|arXiv (Cornell University)|2020. 08. 18.

Robot Manipulation and Learning참고 문헌 17인용 수 5

한 줄 요약

이 논문은 접촉과 마찰을 수반하는 로봇 삽입 작업을 햖을 때 성능을 향상시키기 위해 동적 운동 원형(DMPs)과 강화학습 기반 잔여 보정 정책을 결합한 잔여 학습 시범(rLfD) 프레임워크를 제안한다. 이 방법은 로봇의 전체 자세에 직접적으로 작업 공간에서 작동하며, 시뮬레이션 및 실제 세계의 삽입 작업 모두에서 DMP의 일반화 능력과 성공률을 크게 향상시킨다.

ABSTRACT

Contacts and friction are inherent to nearly all robotic manipulation tasks. Through the motor skill of insertion, we study how robots can learn to cope when these attributes play a salient role. In this work we propose residual learning from demonstration (rLfD), a framework that combines dynamic movement primitives (DMP) that rely on behavioural cloning with a reinforcement learning (RL) based residual correction policy. The proposed solution is applied directly in task space and operates on the full pose of the robot. We show that rLfD outperforms alternatives and improves the generalisation abilities of DMPs. We evaluate this approach by training an agent to successfully perform both simulated and real world insertions of pegs, gears and plugs into respective sockets.

연구 동기 및 목표

• 접촉이 많은 로봇 조작, 특히 마찰과 탄성성을 수반하는 삽입 작업에 대한 도전 과제를 해결하기 위해.
• 접촉 역학이 존재하는 상황에서 행동 클로닝 기반 DMP의 일반화 능력과 내구성을 향상시키기 위해.
• DMP 궤적을 잔여 강화학습을 통해 보정하는 작업 공간 정책을 개발하기 위해.
• 다양한 기하학적 형태(핀, 기어, 플러그 포함)를 가진 시뮬레이션 및 실제 세계 삽입 작업에서 프레임워크를 검증하기 위해.

제안 방법

• 프레임워크는 행동 클로닝을 통해 훈련된 동적 운동 원형(DMPs)을 사용하여 초기 궤적 정책을 생성한다.
• 잔여 보정 정책은 강화학습을 통해 실시간으로 DMP가 생성한 궤적을 보완하도록 학습된다.
• 잔여 정책은 로봇의 전체 6차원 자세에 직접적으로 작업 공간에서 작동하여 접촉 중 정밀 제어를 가능하게 한다.
• 이 방법은 DMP가 사전 운동 구조를 제공하고, RL 정책이 접촉에 의해 유도되는 편차를 보정하는 계층적인 방식으로 DMP와 RL을 통합한다.
• 잔여 정책은 시뮬레이션에서 엔드 투 엔드로 훈련되고, 도메인 랜덤라이제이션을 최소화하여 실제 세계로 이식된다.
• 이 방법은 접촉력의 변동성과 기하학적 허용 오차에 적응함으로써 안전하고 내구성 있는 삽입을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순수 행동 클로닝에 비해 DMP와 RL의 하이브리드 접근 방식이 접촉이 많은 로봇 삽입 작업에서 일반화 능력을 향상시키는가?
• RQ2 작업 공간에서의 잔여 보정이 접촉 역학과 마찰에 대한 내구성을 어떻게 향상시키는가?
• RQ3 시뮬레이션에서 훈련된 정책이 기하학적 형태가 다양한 실제 세계 삽입 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 DMP와 RL의 통합 방식이 성공률과 샘플 효율성 측면에서 대안적 암시 학습 또는 순수 RL 기반 베이스라인에 비해 어떻게 비교되는가?

주요 결과

• rLfD 프레임워크는 표준 DMP와 다른 암시 학습 기반 베이스라인에 비해 시뮬레이션 및 실제 세계 삽입 작업 모두에서 더 높은 성공률을 달성한다.
• 잔여 보정 정책은 펜, 기어, 플러그와 같은 다양한 기하학적 형태에 대해 성공적인 삽입을 가능하게 하여 일반화 능력을 크게 향상시킨다.
• 최소한의 시뮬레이션에서 실제 세계로의 도메인 이행(시뮬레이션-현실 이행)을 통해 시뮬레이션에서의 일반화가 효과적으로 이루어지며, 접촉 역학에 대한 내구성을 입증한다.
• DMP와 RL의 통합은 RL을 처음부터 훈련시키는 것보다 더 빠른 수렴과 더 안정적인 학습을 이끌어낸다.
• 작업 공간에서의 잔여 정책는 접촉 중 정밀한 적응을 가능하게 하여 잘못된 정렬이나 막힘의 위험을 줄인다.