[논문 리뷰] Learning to Play Table Tennis From Scratch using Muscular Robots

Dieter Büchler, Simon Guist외 4명|arXiv (Cornell University)|2020. 06. 10.

Muscle activation and electromyography studies인용 수 11

한 줄 요약

이 논문은 공기압 인공근(ПАМ)으로 구동되는 인간형 로봇 팔에서 실제 하드웨어에서 안전하고 종단 간 강화학습(RL)을 수행함으로써, 안전 제약 조건이나 사전 시연 없이 최대 12 m/s의 고속 리턴을 달성했다. PAM의 부드럽고 역동적인 특성 덕분에 탐색 중 손상이 발생하지 않으며, 이는 모델-프리 RL이 속도와 정확도를 위한 보상 함수만으로 처음부터 학습할 수 있도록 한다.

ABSTRACT

Dynamic tasks like table tennis are relatively easy to learn for humans but pose significant challenges to robots. Such tasks require accurate control of fast movements and precise timing in the presence of imprecise state estimation of the flying ball and the robot. Reinforcement Learning (RL) has shown promise in learning of complex control tasks from data. However, applying step-based RL to dynamic tasks on real systems is safety-critical as RL requires exploring and failing safely for millions of time steps in high-speed regimes. In this paper, we demonstrate that safe learning of table tennis using model-free Reinforcement Learning can be achieved by using robot arms driven by pneumatic artificial muscles (PAMs). Softness and back-drivability properties of PAMs prevent the system from leaving the safe region of its state space. In this manner, RL empowers the robot to return and smash real balls with 5 m\s and 12m\s on average to a desired landing point. Our setup allows the agent to learn this safety-critical task (i) without safety constraints in the algorithm, (ii) while maximizing the speed of returned balls directly in the reward function (iii) using a stochastic policy that acts directly on the low-level controls of the real system and (iv) trains for thousands of trials (v) from scratch without any prior knowledge. Additionally, we present HYSR, a practical hybrid sim and real training that avoids playing real balls during training by randomly replaying recorded ball trajectories in simulation and applying actions to the real robot. This work is the first to (a) fail-safe learn of a safety-critical dynamic task using anthropomorphic robot arms, (b) learn a precision-demanding problem with a PAM-driven system despite the control challenges and (c) train robots to play table tennis without real balls. Videos and datasets are available at muscularTT.embodied.ml.

연구 동기 및 목표

• 실제 하드웨어에서 테이블 테니스와 같은 동적 작업에 대해 안전하고 고속의 탐색을 가능하게 하기 위해.
• 빠른 동작에서 성능을 제한하는 전통적 안전 장치의 한계를 극복하기 위해.
• PAM 기반 소프트 로봇이 정밀 작업을 위한 모델-프리 RL을 안전하게 가능하게 할 수 있음을 입증하기 위해.
• 실제 볼 사용을 피하기 위해 실세계 시뮬레이션-실세계 훈련 방법(HYSR)을 개발하기 위해.
• 시연나 안전 제약 조건 없이도 고정밀, 고속의 테이블 테니스 리턴을 달성하기 위해.

제안 방법

• 실시간 압력 제어를 통해 근육을 구동하는 4자유도 PAM 기반 로봇 팔을 사용.
• 스토케스틱 정책를 통해 저수준 근육 압력 명령에 직접 모델-프리 딥 강화학습을 적용.
• 목표 착점 지점으로 향하는 리턴 속도와 정확도를 최대화하는 보상 함수를 설계.
• HYSR 도입: 기록된 공 궤적을 시뮬레이션에서 재생하면서 실제 로봇에 동작를 적용하는 하이브리드 훈련 절차.
• 실시간 상태 관측을 위해 색상 기반 카메라 시스템을 사용해 공의 위치를 추정.
• 각 대칭 쌍의 근육 중 하나가 관절 한계에 도달하도록 압력 한계를 설정하여 탐색 중 물리적 안전성을 확보.

실험 결과

연구 질문

• RQ1 모델-프리 강화학습이 안전 제약 조건 없이 실제 로봇 하드웨어에서 테이블 테니스와 같은 고속 동적 작업에 안전하게 적용될 수 있는가?
• RQ2 PAM 기반 소프트 로봇이 기존 모터 기반 시스템에서 손상이 발생할 수 있는 폭발적 동작의 안전한 탐색과 학습을 가능하게 할 수 있는가?
• RQ3 하이브리드 시뮬레이션-실세계 훈련 절차(HYSR)가 정책 성능을 유지하면서 실제 볼 상호작용을 얼마나 대체할 수 있는가?
• RQ4 시연나 사전 지식 없이 종단 간 강화학습이 고정밀, 고속 테이블 테니스를 처음부터 효과적으로 학습할 수 있는가?
• RQ5 PAM의 본질적인 역동성과 유연성 덕분에 동적 작업에서 행동 필터링이나 보수적인 제어 히우리스틱이 필요 없어질 수 있는가?

주요 결과

• PAM 기반 로봇은 목표 착점 지점으로 향해 평균 5 m/s 및 12 m/s의 속도로 공을 리턴하는 데 성공했으며, 관절 한계를 초과하지 않았다.
• 안전 제약 조건이나 시연 없이도 속도와 정확도를 위한 보상 함수만으로 처음부터 정확한 테이블 테니스 플레이를 달성했다.
• 충격 직전 약 0.6초 전에 근육 압력을 최소에서 최대로 전환함으로써 폭발적인 가속을 가능하게 했다.
• HYSR 덕분에 실제 볼을 사용하지 않고 수천 번의 훈련 시도를 수행할 수 있었으며, 훈련의 실용성이 크게 향상되었다.
• PAM의 부드러운 액추에이션 덕분에 탐색 중 손상이 발생하지 않아, 행동 필터링이나 보수적인 안전 히우리스틱이 필요 없어졌다.
• 실제 하드웨어에서 실패 방지 학습을 달성했으며, 실제 볼을 치는 안전 핵심 동적 작업에 대해 이는 최초의 사례이다.