[논문 리뷰] Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning

Archit Sharma, Michael J. Ahn외 4명|arXiv (Cornell University)|2020. 04. 27.

Reinforcement Learning in Robotics참고 문헌 33인용 수 10

한 줄 요약

이 논문은 실세계 로봇에서 비보상, 오프-폴리시 샘플 효율적인 강화학습 알고리즘인 off-DADS를 제안한다. 보상 또는 지도 데이터 없이 상호정보량 최대화를 통해 다양하고 작업에 관련된 행동을 유도함으로써, 12-DoF 사지 보행 로봇이 20시간의 실세계 훈련 동안 다양한 보행 자세와 방향을 학습할 수 있으며, 학습된 스킬은 모델 예측 제어를 통해 후행 태스크를 위한 태스크 조합이 가능하다.

ABSTRACT

Reinforcement learning provides a general framework for learning robotic skills while minimizing engineering effort. However, most reinforcement learning algorithms assume that a well-designed reward function is provided, and learn a single behavior for that single reward function. Such reward functions can be difficult to design in practice. Can we instead develop efficient reinforcement learning methods that acquire diverse skills without any reward function, and then repurpose these skills for downstream tasks? In this paper, we demonstrate that a recently proposed unsupervised skill discovery algorithm can be extended into an efficient off-policy method, making it suitable for performing unsupervised reinforcement learning in the real world. Firstly, we show that our proposed algorithm provides substantial improvement in learning efficiency, making reward-free real-world training feasible. Secondly, we move beyond the simulation environments and evaluate the algorithm on real physical hardware. On quadrupeds, we observe that locomotion skills with diverse gaits and different orientations emerge without any rewards or demonstrations. We also demonstrate that the learned skills can be composed using model predictive control for goal-oriented navigation, without any additional training.

연구 동기 및 목표

• 실세계 로봇을 위한 비보상 강화학습에서의 샘플 비효율성 문제를 해결한다.
• 인간이 설계한 보상 또는 지도 데이터 없이도 물리적 로봇에서 보상 없이 자기지도 학습 스킬 탐색을 가능하게 한다.
• 비보상 강화학습을 위한 실세계 환경에서의 데이터 효율성을 향상시키는 오프-폴리시 알고리즘을 개발한다.
• 비보상 상호작용을 통해 다양하고 유용한 보행 스킬이 자발적으로 발생할 수 있으며, 이를 후행 태스크에 재사용할 수 있음을 보여준다.
• 제한된 공간과 하드웨어 마모 등의 실용적 제약 조건을 고려하여 비보상 스킬 탐색의 실세계 구현 가능성을 확보한다.

제안 방법

• DADS 알고리즘을 동역학 기반, 상호정보량 기반 목적함수를 사용하여 오프-폴리시 변형인 off-DADS로 확장하여 스킬 다양성을 촉진한다.
• 잠재 변수 $ z $ 를 사용해 정책 행동를 조건화하고, 상태 전이와 잠재 코드 간의 상호정보량 최적화를 수행한다.
• 다중 로봇을 대상으로 비동기적이고 오프-폴리시 데이터 수집을 구현하여 샘플 효율성을 향상시킨다.
• 학습된 스킬-다이내믹스 $ q_{\phi}(s'\mid s,z) $ 를 활용해 후행 태스크를 위한 모델 기반 계획을 가능하게 한다.
• 학습된 스킬 공간에 대해 모델 예측 제어(MPC)를 적용하여 목표 지향적 탐색을 위한 행동 조합을 수행한다.
• 잠재 코드에 대한 사전 분포 $ p(z) $ 를 사용하여 보상 형상화 없이 다양한 스킬을 샘플링한다.

실험 결과

연구 질문

• RQ1 오프-폴리시 학습이 실세계 로봇에서 비보상 스킬 탐색의 샘플 효율성을 크게 향상시킬 수 있는가?
• RQ2 보상 함수나 인간의 지도 데이터 없이도 실세계에서 다양한 보행 스킬이 자발적으로 발생할 수 있는가?
• RQ3 보상 없이 비보상 방식으로 학습된 스킬이 후행 탐색 태스크에 효과적으로 조합될 수 있는가?
• RQ4 물리적 로봇에 비보상 강화학습을 구현할 때 발생하는 실용적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 상호정보량 최대화가 실세계 로봇 시스템에서 의미 있는, 다양한, 유용한 행동을 얼마나 잘 이끌 수 있는가?

주요 결과

• off-DADS 알고리즘은 시뮬레이션에서 온-폴리시 후속 기술 대비 최대 4배의 샘플 효율성 향상을 달성한다.
• 실물 하드웨어(D’Kitty 사지 보행 로봇)에서 20시간의 훈련 동안 보상 또는 지도 데이터 없이 다양한 보행 스타일과 방향을 포함한 다양한 보행 스킬이 자동으로 발생한다.
• off-DADS로 학습된 스킬은 높은 내구성을 보이며, 무작위로 선택된 스킬 실행 중 95%가 100단계 동안 넘어지지 않고 완료되며, 평균 2.17±0.59미터의 거리를 이동한다.
• 학습된 스킬-다이내믹스를 기반으로 한 모델 예측 제어(MPC)는 비보상 스킬 레파지토리만으로도 목표 위치로 로봇을 성공적으로 이동시킨다.
• 제한된 공간과 하드웨어 마모 등의 물리적 제약 조건에도 불구하고, 보상 없이 지속적인 학습이 실세계에서 가능함을 입증한다.
• 훈련 곡선이 수렴하지 않음을 확인하여, 더 긴 훈련 시간 동안 추가적인 스킬 다양성이 유도될 수 있음을 시사하며, 장기적인 비보상 학습 잠재력이 있음을 시사한다.