[논문 리뷰] Residual Learning from Demonstration: Adapting Dynamic Movement Primitives for Contact-rich Insertion Tasks

Todor Davchev, Kevin Sebastian Luck외 4명|arXiv (Cornell University)|2020. 08. 18.

Robot Manipulation and Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 동적 운동 원형(DMPs)을 접촉이 많은 삽입 작업에 더 잘 맞추기 위해 행동 복제와 강화학습 기반 잔여 보정 정책을 조합한 잔여 학습에서의 시연(rLfD)을 제안한다. 이 방법은 전체 로봇 자세의 작업 공간에서 직접 작동하여 시뮬레이션 및 실제 환경에서 페그, 기어, 플러그 삽입 작업 전반에서 DMP 성능, 일반화 능력 및 성공률을 크게 향상시킨다.

ABSTRACT

Contacts and friction are inherent to nearly all robotic manipulation tasks. Through the motor skill of insertion, we study how robots can learn to cope when these attributes play a salient role. In this work we study ways for adapting dynamic movement primitives (DMP) to improve their performance in the context of contact rich insertion. We propose a framework we refer to as residual learning from demonstration (rLfD) that combines dynamic movement primitives (DMP) that rely on behavioural cloning with a reinforcement learning (RL) based residual correction policy. Our evaluation suggests that applying residual learning directly in task space and operating on the full pose of the robot can significantly improve the overall performance of DMPs. We show that rLfD outperforms alternatives and improves the generalisation abilities of DMPs. We evaluate this approach by training an agent to successfully perform both simulated and real world insertions of pegs, gears and plugs into respective sockets.

연구 동기 및 목표

• 마찰력과 접촉력이 핵심적인 접촉이 많은 환경에서 견고한 삽입 행동을 학습하는 데 도전하는 것.
• 다양한 기하학적 형상과 접촉 역학을 수반하는 복잡한 삽입 작업에 적용했을 때 동적 운동 원형(DMPs)의 일반화 능력과 견고성을 향상시키는 것.
• 모방 학습(행동 복제)과 강화학습을 조합한 하이브리드 학습 프레임워크를 개발하여 실시간으로 DMP 궤적을 보정하는 것.
• 높은 접촉 민감도를 지닌 삽입 작업에서 시뮬레이션에서 실제 환경으로의 효과적인 전이를 가능하게 하는 것.
• 잔여 보정을 전체 자세 공간에서 수행할 경우, 성공률과 견고성 면에서 다른 접근 방식보다 뛰어난 성능을 보이는지 입증하는 것.

제안 방법

• 행동 복제를 통해 시연된 궤적을 기반으로 훈련된 DMP 정책을 사용하여 기본 운동 정책을 제공한다.
• 강화학습을 통해 훈련된 잔여 보정 정책이 작업 공간 오차와 접촉 피드백을 기반으로 실시간으로 DMP 출력을 수정한다.
• 잔여 정책은 작업 공간에서 로봇 끝단의 전체 6차원 자세(위치 및 자세)에 직접 작용하여 접촉 상호작용 중 정밀한 보정을 가능하게 한다.
• 잔여 보정은 실행 중에 온라인으로 적용되어 접촉력과 노말 트레이젝터리에서의 이탈에 따라 정책이 동적으로 적응할 수 있도록 한다.
• 성공적인 삽입을 장려하고 큰 이탈 및 과도한 접촉력을 방지하기 위해 보상 형태 전략을 사용한다.
• 프레임워크는 시뮬레이션에서 엔드 투 엔드로 훈련되어 도메인 랜덤라이제이션 또는 미세 조정을 최소화하여 실제 하드웨어로 전이된다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 훈련된 잔여 보정 정책이 접촉이 많은 삽입 작업에서 DMP의 성공률을 크게 향상시킬 수 있는가?
• RQ2 전체 작업 공간 자세 공간에서 잔여 정책를 운영할 경우, 관절 공간 또는 부분 자세 보정보다 성능과 일반화 능력 면에서 더 우수한가?
• RQ3 다양한 삽입 기하학적 형상에서 rLfD는 표준 DMP와 다른 모방 학습 + 강화학습 기반 베이스라인과 비교해 견고성과 성공률 면에서 어떻게 다른가?
• RQ4 rLfD 프레임워크는 광범위한 미세 조정 없이 시뮬레이션에서 실제 환경 실행으로 얼마나 잘 일반화되는가?
• RQ5 잔여 보정 정책가 삽입 중 변동하는 접촉 역학과 기하학적 불일치를 효과적으로 처리할 수 있는가?

주요 결과

• rLfD 프레임워크는 행동 복제로만 훈련된 표준 DMP보다 삽입 성공률을 크게 향상시킨다.
• 전체 자세 공간에서의 잔여 보정은 관절 공간 또는 부분 자세 보정보다 다양한 삽입 작업(페그, 기어, 플러그) 간의 일반화 능력이 뛰어나다.
• 이 방법은 시뮬레이션 및 실제 실험 모두에서 높은 성공률를 달성하여 효과적인 시뮬레이션에서 실제 환경으로의 전이를 입증한다.
• 강화학습 기반 잔여 보정 통합으로 인해 에이전트는 실행 중 접촉력과 기하학적 변형에 적응할 수 있어 실패 유형을 줄였다.
• 다양한 삽입 시나리오에서 다른 모방 학습 + 강화학습 기반 베이스라인 대비 견고성과 성공률 면에서 뛰어난 성능을 보였다.
• 잔여 정책는 궤적 이탈과 접촉력 급증을 효과적으로 줄여 더 부드럽고 신뢰할 수 있는 삽입을 가능하게 했다.