[논문 리뷰] Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning

Anusha Nagabandi, Gregory Kahn외 2명|arXiv (Cornell University)|2017. 08. 08.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 랜덤 액션 스텝 700,000개만으로 훈련된 신경망 동역학 모델을 사용하여 운동 제어 작업에서 빠르고 샘플 효율적인 정책 학습을 가능하게 하는 하이브리드 모델기반 및 모델자율 강화학습 접근법을 제안한다. 모델기반 정책으로 모델자율 학습기를 초기화함으로써, MuJoCo 벤치마크인 수영이, 셰타, 톱, 개미와 같은 작업에서 샘플 효율성에서 3–5배 향상을 달성한다. 이는 최소한의 데이터로 실시간 궤적 추종을 가능하게 한다.

ABSTRACT

Model-free deep reinforcement learning algorithms have been shown to be capable of learning a wide range of robotic skills, but typically require a very large number of samples to achieve good performance. Model-based algorithms, in principle, can provide for much more efficient learning, but have proven difficult to extend to expressive, high-capacity models such as deep neural networks. In this work, we demonstrate that medium-sized neural network models can in fact be combined with model predictive control (MPC) to achieve excellent sample complexity in a model-based reinforcement learning algorithm, producing stable and plausible gaits to accomplish various complex locomotion tasks. We also propose using deep neural network dynamics models to initialize a model-free learner, in order to combine the sample efficiency of model-based approaches with the high task-specific performance of model-free methods. We empirically demonstrate on MuJoCo locomotion tasks that our pure model-based approach trained on just random action data can follow arbitrary trajectories with excellent sample efficiency, and that our hybrid algorithm can accelerate model-free learning on high-speed benchmark tasks, achieving sample efficiency gains of 3-5x on swimmer, cheetah, hopper, and ant agents. Videos can be found at https://sites.google.com/view/mbmf

연구 동기 및 목표

• 로봇 제어 분야에서 순수 모델자율 딥 강화학습의 높은 샘플 복잡도 문제를 해결하기 위해.
• 신경망 동역학 모델을 사용하여 복잡하고 고차원적인 운동 제어 작업에서 샘플 효율적인 학습을 가능하게 하기 위해.
• 모델기반 학습의 샘플 효율성과 모델자율 방법의 높은 점진적 성능을 조합하기 위해.
• 최소한의 비정책 데이터로 동역학 모델을 훈련하여 실세계 적용의 가능성을 입증하기 위해.
• 시뮬레이션 및 실세계 환경에서 강력한 운동 자세를 학습하기 위한 실용적이고 데이터 효율적인 방법을 제공하기 위해.

제안 방법

• 다중층 피드포워드 신경망이 비정책적으로 수집된 랜덤 액션 롤아웃만을 사용하여 환경의 동역학을 모델링하기 위해 훈련된다.
• 추론 시기에는 학습된 동역학 모델에 기반하여 제어 동작을 생성하기 위해 무작위 샷팅을 사용하는 모델 예측 제어(MPC)가 사용된다.
• 모델기반 정책가 모델자율 정책의 초기화를 위해 MPC 컨트롤러가 생성한 롤아웃에 대한 지도 학습 전훈을 통해 이루어진다.
• 초기화된 정책은 이후에 모델자율 강화학습(예: 정책 기울기)을 사용하여 최종 성능 향상을 위해 미세조정된다.
• 훈련 중에 일반화 및 안정성 향상을 위해 데이터 집합 기법이 적용된다.
• 이 방법은 수영이, 하프-셰타, 톱, 개미를 포함한 MuJoCo 운동 제어 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 랜덤이고 비정책적인 데이터로 훈련된 신경망 동역학 모델이 복잡한 운동 제어 작업에 효과적인 모델기반 제어를 가능하게 할 수 있는가?
• RQ2 고차원 제어 작업에서 제안된 모델기반 접근법의 샘플 효율성은 순수 모델자율 방법과 비교해 어떻게 되는가?
• RQ3 모델기반 정책가 모델자율 학습기를 효과적으로 초기화하여 수렴 속도를 가속화하면서도 높은 최종 성능를 유지할 수 있는가?
• RQ4 데이터 집합 및 MPC 설정과 같은 설계 선택 사항 중에서 신경망 동역학 모델의 성능에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ5 재훈련 없이도 단일 동역학 모델이 여러 궤적 추종 작업 간에 얼마나 효과적으로 재사용될 수 있는가?

주요 결과

• 모델기반 접근법만으로도 랜덤 액션 데이터 7e5단계(약 4시간 이내)로도 효과적인 자세 학습을 달성하였으며, 다양한 작업에서 궤적 추종이 가능했다.
• 하이브리드 Mb-Mf 방법은 MuJoCo 벤치마크의 수영이, 셰타, 톱, 개미 에이전트에서 순수 모델자율 학습보다 샘플 효율성에서 3–5배 향상되었다.
• 개미 에이전트의 경우, 순수 모델자율 방법이 요구하는 데이터의 14%만으로도 안정적인 걷기 자세를 달성하였다.
• 랜덤 데이터로 훈련된 동역학 모델은 재훈련 없이도 테스트 시기에 임의의 궤적 추종 작업으로 일반화할 수 있었다.
• 모델기반 컨트롤러만으로도 안정적인 자세를 신속하게 학습할 수 있었지만, 모델 편향으로 인해 성능이 정점에 도달하는 경향이 있었으며, 이는 모델자율 방법을 통한 미세조정으로 극복되었다.
• 최소한의 데이터 요구량과 비정책 롤아웃에서의 학습 능력 덕분에 실세계 로봇 적용의 실용성이 입증되었다.