[논문 리뷰] Hierarchical Policy Design for Sample-Efficient Learning of Robot Table Tennis Through Self-Play

Reza Mahjourian, Risto Miikkulainen외 3명|arXiv (Cornell University)|2018. 11. 30.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 인간의 시범과 자기대전을 통해 표본 효율적인 테이블 테니스 로봇 에이전트 훈련을 가능하게 하는 계층적 강화학습 프레임워크를 제안한다. 전략에 대한 모델리스 정책 학습, 공의 물리적 운동을 위한 모델기반 역학 예측, 로봇 운동학에 대한 분석적 제어기의 조합을 통해, 약 24,000회의 자기대전 상호작용과 약 7,000회의 인간 시범 경로만으로도 실세계에 직접 구현 가능한 성능을 달성한 채로 안정적인 테이블 테니스 플레이를 구현한다.

ABSTRACT

Training robots with physical bodies requires developing new methods and action representations that allow the learning agents to explore the space of policies efficiently. This work studies sample-efficient learning of complex policies in the context of robot table tennis. It incorporates learning into a hierarchical control framework using a model-free strategy layer (which requires complex reasoning about opponents that is difficult to do in a model-based way), model-based prediction of external objects (which are difficult to control directly with analytic control methods, but governed by learnable and relatively simple laws of physics), and analytic controllers for the robot itself. Human demonstrations are used to train dynamics models, which together with the analytic controller allow any robot that is physically capable to play table tennis without training episodes. Using only about 7,000 demonstrated trajectories, a striking policy can hit ball targets with about 20 cm error. Self-play is used to train cooperative and adversarial strategies on top of model-based striking skills trained from human demonstrations. After only about 24,000 strikes in self-play the agent learns to best exploit the human dynamics models for longer cooperative games. Further experiments demonstrate that more flexible variants of the policy can discover new strikes not demonstrated by humans and achieve higher performance at the expense of lower sample-efficiency. Experiments are carried out in a virtual reality environment using sensory observations that are obtainable in the real world. The high sample-efficiency demonstrated in the evaluations show that the proposed method is suitable for learning directly on physical robots without transfer of models or policies from simulation. Supplementary material available at https://sites.google.com/view/robottabletennis

연구 동기 및 목표

• 데이터 수집이 비용이 많이 들고 비병렬화 가능한 물리적 환경에서 복잡한 로봇 기술을 표본 효율적으로 학습시키는 것.
• 모델리스, 모델기반, 분석적 제어 요소를 통합한 계층적 제어 아키텍처를 개발하여 학습 효율성을 향상시키는 것.
• 인간 시범과 자기대전을 활용하여 시뮬레이션에서 실세계로의 정책 전이 없이도 실세계에 로봇 테이블 테니스 에이전트를 구현할 수 있도록 하는 것.
• 자기대전을 통해 인간이 감지하지 못한 새로운 전략을 발견하면서도 높은 성능과 일반화 능력을 유지할 수 있도록 하는 것.
• 인간이 학습한 역학 모델과 효율적인 강화학습을 전략 수준에서 융합함으로써, 최소한의 상호작용으로도 로봇이 테이블 테니스를 플레이할 수 있도록 하는 것.

제안 방법

• 이 방법은 세 단계로 구성된 계층적 정책을 사용한다: 상대방에 대한 추론을 위한 모델리스 전략 정책, 인간 시범에서 학습된 역학을 기반으로 한 공의 운동 예측 모델, 로봇 페달 운동을 위한 분석적 제어기.
• 인간 시범 경로(n ≈ 7,000)는 정규화되고 부분 추출되어 다양한 페달 스트라이크 상황에서의 공 궤적을 예측하는 역학 모델을 훈련한다.
• 시간이 조절된 운동 목표(위치 및 속도)가 복잡한 페달 운동을 표현하는 고수준 행동으로 사용되어 전략 정책의 효율적 학습을 가능하게 한다.
• 분석적 페달 제어기는 어떤 호환 가능한 로봇 하드웨어에서도 주어진 운동 목표를 실행할 수 있어 로봇에 종속되지 않는 정책 배포를 가능하게 한다.
• 자기대전은 전략 정책을 훈련하기 위해 사용되며, 에이전트가 협력적 및 적대적 모드에서 자신과 대전함으로써 새로운 게임 전략을 발견한다.
• 강화학습은 고수준 전략 정책에만 적용되어 탐색의 복잡도를 줄이고 표본 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소수의 백수백 개의 인간 시범만으로도 계층적 정책 설계가 복잡한 로봇 테이블 테니스 정책의 표본 효율적 학습을 가능하게 할 수 있는가?
• RQ2 인간 데이터에서 학습된 모델기반의 공 역학 예측이 직접적인 물리적 상호작용 없이도 정확하고 일반화 가능한 스트라이크 예측을 가능하게 할 수 있는가?
• RQ3 모델기반 기술 정책에 대한 자기대전이 인간 시범을 초월한 새로운 고성능 협력적 및 적대적 전략을 발견하는 데 기여할 수 있는가?
• RQ4 분석적 제어기와 학습된 역학 모델의 조합이 시뮬레이션에서 실세계로의 전이 없이도 실로봇에 직접 구현 가능하게 할 수 있는가?
• RQ5 계층적 분해는 연속 제어 과제에서 고수준 로봇 전략 학습의 표본 복잡도를 어느 정도 감소시킬 수 있는가?

주요 결과

• 이 방법은 약 7,000회의 인간 시범 경로만으로도 평균 오차 약 20cm 이내로 목표를 향해 공을 치는 땅-볼 정책을 달성한다.
• 자기대전에서 약 24,000회의 공 교환 후, 에이전트는 평균 14~16회의 라운드를 지속할 수 있는 전략 정책을 학습한다.
• 더 유연한 기술인 '공을 때리기'와 같은 기술로 훈련할 경우, 인간과 유사하지 않은 새로운 스트라이크를 발견하며 인간이 시범한 동작을 초월한 잠재적 전략적 행동을 나타낸다.
• 분석적 제어기와 역학 모델 덕분에 로봇은 추가 훈련 없이도 실물 하드웨어에서 6~8회의 공을 때리는 라운드를 수행할 수 있다.
• 전체 시스템은 최소한의 데이터로 실로봇에 직접 배포 가능하여, 이 방법이 시뮬레이션에서 실세계로의 전이를 피할 수 있도록 충분히 표본 효율적임을 보여준다.
• 계층적 설계는 강화학습 문제의 복잡도를 전략 수준으로 국소화함으로써 크게 감소시켜, 최소한의 하이퍼파라미터 튜닝으로도 빠른 수렴을 가능하게 한다.