[논문 리뷰] Reinforcement Learning for Pivoting Task

Rika Antonova, Silvia Cruciani외 2명|arXiv (Cornell University)|2017. 03. 01.

Reinforcement Learning in Robotics참고 문헌 16인용 수 36

한 줄 요약

이 논문은 로봇 펌프링 작업을 위한 강화학습 접근법을 제안하며, 맞춤형이고 불완전한 시뮬레이터를 사용하여 실제 하드웨어와 예측되지 않은 물체로의 일반화를 성공적으로 이끌어내는 강건한 정책을 훈련한다. 이 방법은 시뮬레이션과 현실 간의 불일치와 파rameter 불확실성에도 불구하고 93%의 성공률을 기록하며, 훈련된 도구를 사용한 Baxter 로봇에서, 83%의 성공률을 기록하며, 훈련되지 않은 도구를 사용한 경우에도 이식 가능성을 입증한다.

ABSTRACT

In this work we propose an approach to learn a robust policy for solving the pivoting task. Recently, several model-free continuous control algorithms were shown to learn successful policies without prior knowledge of the dynamics of the task. However, obtaining successful policies required thousands to millions of training episodes, limiting the applicability of these approaches to real hardware. We developed a training procedure that allows us to use a simple custom simulator to learn policies robust to the mismatch of simulation vs robot. In our experiments, we demonstrate that the policy learned in the simulator is able to pivot the object to the desired target angle on the real robot. We also show generalization to an object with different inertia, shape, mass and friction properties than those used during training. This result is a step towards making model-free reinforcement learning available for solving robotics tasks via pre-training in simulators that offer only an imprecise match to the real-world dynamics.

연구 동기 및 목표

• 다양한 물체 특성과 하드웨어 설정 간에 일반화되는 로봇 펌프링을 위한 강인한 강화학습 정책을 개발하기.
• 정밀한 역학 모델링이 불가능한 연속 제어 과제에서의 시뮬레이션에서 현실로의 전이 문제를 해결하기.
• 시뮬레이션과 실제 로봇 간 정확한 파rameter 일치가 필요 없이도 효과적인 정책 학습을 가능하게 하기.
• 단순화된 시뮬레이터에서 훈련된 정책이 실제 로봇을 제어하고, 질량, 관성, 마찰 계수 등 다른 물리적 특성을 가진 물체로의 일반화를 성공적으로 수행할 수 있음을 입증하기.

제안 방법

• 펌프링 과제를 위한 근사적인 역학 방정식을 사용하여 맞춤형 시뮬레이터를 구축하였으며, 마찰 및 액추에이터 지연과 같은 불확실한 파rameter를 포함하였다.
• 시뮬레이션 파rameter(예: 마찰, 질량)를 무작위로 샘플링하여 다양한 훈련 에피소드를 생성함으로써, 실제 세계의 불일치에 대한 정책의 강인성을 향상시켰다.
• 딥 강화학습 알고리즘(PPO)을 사용하여 시뮬레이션 내에서 직접 비선형 제어 정책을 학습시켰다.
• 정책은 상태 관측치(예: 물체의 각도, 그립퍼 상태 포함)를 기반으로 그립퍼 가속도 및 손가락 거리 명령을 출력하도록 훈련되었다.
• 시뮬레이션 내에서의 데이터 증강을 통해 강인성을 강조함으로써 정밀한 역학 모델 의존도를 줄였다.
• 훈련된 정책는 추가 보정 없이도 Baxter 로봇에 직접 배포되었으며, 훈련 구성 이외의 도구에 대한 일반화 능력을 시험하였다.

실험 결과

연구 질문

• RQ1 정밀한 모델링이 어려운 단순화된 불완전한 시뮬레이터에서 훈련된 정책가 실존하는 로봇의 펌프링 과제를 성공적으로 제어할 수 있는가? 시뮬레이션과 현실 간의 불일치에도 불구하고.
• RQ2 한 물체에서 훈련된 정책가 훈련 기간 동안 접촉하지 않은 다른 물리적 특성(질량, 관성, 마찰 계수)을 가진 물체로의 일반화 능력은 어떠한가?
• RQ3 모델-프리 강화학습이 불확실하거나 근사적인 역학을 가진 시뮬레이터에서 훈련된 경우, 실제 하드웨어에서 강인한 성능을 달성할 수 있는가?
• RQ4 시뮬레이션 내에서 무작위 파rameter 변동을 사용하면 정책의 강인성과 현실 조건으로의 일반화 능력이 향상되는가?
• RQ5 재훈련 없이도 여러 목표 각도와 다양한 펌프링 범위를 처리할 수 있는 단일 정책가 가능한가?

주요 결과

• 훈련 시뮬레이션에서 사용된 도구의 파arameter를 기반으로 한 Baxter 로봇에서 펌프링 과제를 수행한 결과, 정책은 93%의 성공률을 기록하였다.
• 동일한 정책가 훈련 중에 접촉하지 않은 물리적 특성이 알려지지 않은 다른 도구에 적용되었을 때 83%의 성공률을 기록하였으며, 훈련 설정을 초월한 강력한 일반화 능력을 입증하였다.
• 정책는 45°, -60°, 30°, 5° 등의 목표 각도로 물체를 성공적으로 펌프링하여 광범위한 운동 요구 조건에 대한 강인성을 보였다.
• 시뮬레이션에서의 질량, 관성, 마찰 계수와 다를 경우에도 정책는 효과적으로 일반화되었으며, 파arameter 불일치에 민감하지 않음을 시사한다.
• 목표에 도달하는 평균 시간은 훈련된 도구의 경우 약 5초, 훈련되지 않은 도구의 경우 약 10초였으며, 안정적이고 예측 가능한 행동을 보였다.
• 추적 정확도 저하와 경미한 슬립에도 불구하고 시스템은 안정적으로 유지되었으며, 30회 시험 중 평균 1~2회 정도의 떨어짐만 관찰되었고, 경미한 이탈 후 정책는 복구하여 과제를 완료할 수 있었다.