[논문 리뷰] Using Deep Reinforcement Learning to Learn High-Level Policies on the ATRIAS Biped

Tianyu Li, Akshara Rai외 2명|arXiv (Cornell University)|2018. 09. 28.

Reinforcement Learning in Robotics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 ATRIAS 이족 보행 로봇에서 보행 정책을 훈련하기 위해 구조화된 딥 강화학습 접근법을 제안한다. 시뮬레이션에서 수동으로 설계된 히어리스틱 컨트롤러를 개선하기 위해 신경망을 활용한다. 이 방법은 도메인 랜덤화 없이도 시뮬레이션에서 하드웨어로의 전이 성공률가 80%에 도달하여 순수 신경망 정책보다 유의미하게 뛰어나며, 직관적인 컨트롤러 구조를 유지하고 시뮬레이션-하드웨어 도메인 갭을 줄인다.

ABSTRACT

Learning controllers for bipedal robots is a challenging problem, often requiring expert knowledge and extensive tuning of parameters that vary in different situations. Recently, deep reinforcement learning has shown promise at automatically learning controllers for complex systems in simulation. This has been followed by a push towards learning controllers that can be transferred between simulation and hardware, primarily with the use of domain randomization. However, domain randomization can make the problem of finding stable controllers even more challenging, especially for underactuated bipedal robots. In this work, we explore whether policies learned in simulation can be transferred to hardware with the use of high-fidelity simulators and structured controllers. We learn a neural network policy which is a part of a more structured controller. While the neural network is learned in simulation, the rest of the controller stays fixed, and can be tuned by the expert as needed. We show that using this approach can greatly speed up the rate of learning in simulation, as well as enable transfer of policies between simulation and hardware. We present our results on an ATRIAS robot and explore the effect of action spaces and cost functions on the rate of transfer between simulation and hardware. Our results show that structured policies can indeed be learned in simulation and implemented on hardware successfully. This has several advantages, as the structure preserves the intuitive nature of the policy, and the neural network improves the performance of the hand-designed policy. In this way, we propose a way of using neural networks to improve expert designed controllers, while maintaining ease of understanding.

연구 동기 및 목표

• 이족 보행 로봇에 대해 시뮬레이션에서 하드웨어로의 딥 강화학습 정책 전이 문제를 해결한다.
• 도메인 랜덤화의 한계를 극복한다. 도메인 랜덤화는 강화학습을 방해하고, 부족하게 제어되는 시스템의 성능을 떨어뜨릴 수 있다.
• 신경망을 전문가가 설계한 컨트롤러 프레임워크 내에 통합하여 전이 가능성을 향상시킨다.
• 전체 정책을 재학습하지 않고도 인간이 컨트롤러를 조정하고 적응할 수 있도록 한다.
• 구조화된 정책이 하드웨어 배포 시 성능를 유지하면서도 강인성과 해석 가능성 향상을 유지함을 입증한다.

제안 방법

• ATRIAS 로봇의 고정밀 시뮬레이션에서 지상 높이 외란이 있는 조건에서 딥 강화학습 정책을 훈련한다.
• 신경망이 기본 히어리스틱 컨트롤러의 상태에 따라 조정값(예: 목표 높이, 기울기, 발자국 위치)을 예측하는 구조화된 컨트롤러를 사용한다.
• 핵심 컨트롤러 아키텍처는 고정하고 시뮬레이션에서 오직 신경망 정책만 미세조정한다.
• 안정적이고 효율적인 보행을 강조하는 보상 함수를 사용하여 Proximal Policy Optimization (PPO)를 정책 훈련에 적용한다.
• 고토크스를 방지하기 위해 높은 토크를 벌금으로 산정하는 비용 함수를 사용하여 훈련 중 보다 보수적이고 강인한 행동을 유도한다.
• 훈련된 정책를 직접 실제 ATRIAS 로봇에 적용하여 전이 성공률과 강인성을 평가한다.

Figure 1 : Our test platform is CMU’s ATRIAS robot in a planar setup.

실험 결과

연구 질문

• RQ1 도메인 랜덤화 없이도 시뮬레이션에서 훈련된 신경망 정책이 하드웨어로 성공적으로 전이될 수 있는가?
• RQ2 순수 신경망 정책과 비교해 볼 때 하이브리드 신경망-히어리스틱 컨트롤러의 구조가 전이 성능에 어떤 영향을 미치는가?
• RQ3 행동 공간과 비용 함수는 시뮬레이션-하드웨어 일반화를 향상시키는 데 어떤 역할을 하는가?
• RQ4 재학습 없이도 전문 지식을 학습된 정책에 유지하고 수정할 수 있는가?
• RQ5 시뮬레이션과 하드웨어 간의 초기 상태 불일치가 정책 전이에 어떤 영향을 미치며, 구조화된 정책이 이를 완화할 수 있는가?

주요 결과

• 순수 신경망 정책는 시뮬레이션에서 하드웨어로의 전이 성공률가 20%에 그쳤으며, 주로 높은 초기 다리 힘으로 인해 넘어지는 데 기인한다.
• 신경망이 히어리스틱 컨트롤러를 개선하는 구조화된 신경망 정책는 하드웨어에서 80%의 성공률을 기록하여 순수 신경망 접근보다 유의미하게 뛰어나다.
• 구조화된 정책는 다리 힘의 시뮬레이션-하드웨어 불일치를 보완하여 초기 외란을 줄였고, 초기 보행 단계의 안정성을 높였다.
• 전문가가 정책 훈련 후에 컨트롤러를 수정(예: 속도 피드백 이득 조정)할 수 있었으며, 이는 속도 변화에 대한 강인성을 향상시켰다.
• 고토크스를 벌금으로 산정하는 비용 함수를 사용함으로써, 구조화된 정책의 전이 성공률가 100%로 향상되었으며, 이는 보수적인 훈련이 강인성을 향상시킨다는 것을 시사한다.
• 구조화된 정책는 직관적인 제어 논리를 유지하면서도 신경망이 상태 기반 개선을 학습하도록 허용하여, 더 나은 외란 제거 능력과 더 쉬운 간섭 가능성을 확보했다.

Figure 2 : Pipeline of the expert controller for controlling ATRIAS.