[논문 리뷰] Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with Deep Reinforcement Learning

Andrew S. Morgan, Daljeet Nandha외 4명|arXiv (Cornell University)|2021. 03. 25.

Reinforcement Learning in Robotics참고 문헌 55인용 수 32

한 줄 요약

이 논문은 모델 예측 제어(MPC) 롤아웃과 딥 액터-크리틱 강화학습을 결합한 하이브리드 모델기반/모델자율 강화학습 알고리즘인 모델 예측 액터-크리틱(MoPAC)을 제안한다. 이는 로봇에서 스킬 습득을 가속화하기 위해 설계되었다. MPC를 활용한 효율적이고 유도된 탐색과 MFRL을 통한 강력한 정책 최적화를 통해 MoPAC은 환경 상호작용 횟수를 줄이고 모델 편향을 완화함으로써 더 빠른 수렴과 뛰어난 성능을 달성한다. 이는 시뮬레이션 및 실제 로봇 조작 작업, 특히 네 손가락을 가진 손안에서의 조작 작업에서도 성과를 보였다.

ABSTRACT

Substantial advancements to model-based reinforcement learning algorithms have been impeded by the model-bias induced by the collected data, which generally hurts performance. Meanwhile, their inherent sample efficiency warrants utility for most robot applications, limiting potential damage to the robot and its environment during training. Inspired by information theoretic model predictive control and advances in deep reinforcement learning, we introduce Model Predictive Actor-Critic (MoPAC), a hybrid model-based/model-free method that combines model predictive rollouts with policy optimization as to mitigate model bias. MoPAC leverages optimal trajectories to guide policy learning, but explores via its model-free method, allowing the algorithm to learn more expressive dynamics models. This combination guarantees optimal skill learning up to an approximation error and reduces necessary physical interaction with the environment, making it suitable for real-robot training. We provide extensive results showcasing how our proposed method generally outperforms current state-of-the-art and conclude by evaluating MoPAC for learning on a physical robotic hand performing valve rotation and finger gaiting--a task that requires grasping, manipulation, and then regrasping of an object.

연구 동기 및 목표

• 실제 로봇 응용 분야에서 모델자율 딥 강화학습(MFRL)의 샘플 비효율성 문제를 해결하기 위해, 과도한 환경 상호작용이 손상 위험을 초래할 수 있음을 고려한다.
• 모델기반 RL(MBRL)에 내재된 모델 편향 문제를 극복하기 위해, 부정확한 동역학 모델을 활용할 경우 성능이 제한됨을 고려한다.
• MBRL의 샘플 효율성과 MFRL의 탐색 능력을 융합하여 복잡한 로봇 작업에서 더 빠르고 강력한 정책 학습을 가능하게 한다.
• 모델 및 가치 함수 근사 오차 하에서 이론적으로 탄탄한 방법과 성능 경계를 제공한다.
• MoPAC의 효과성을 복잡한 실제 로봇 손안 조작 작업, 예를 들어 밸브 조작 및 손가락 운동 제어 등에서 입증한다.

제안 방법

• MoPAC은 모델 예측 제어(MPC) 롤아웃과 딥 액터-크리틱 프레임워크를 통합하여, MPC를 활용해 고보상 경로를 생성하고 정책 학습을 유도한다.
• 정보 이론적 MPC를 사용하며, 자유 에너지 원리에 기반하여 엔트로피 제약 조건을 통합하여 탐색과 이용의 균형을 이룬다.
• 모델 예측 롤아웃을 활용해 정책 최적화를 위한 합성 경험을 수집함으로써 실제 환경 상호작용 의존도를 낮춘다.
• 액터-크리틱 구성 요소에서 최대 엔트로피 목적 함수를 도입하여 탐색을 장려함으로써 더 표현력 있는 동역학 모델 학습을 가능하게 한다.
• 알고리즘은 롤아웃에 사용되는 학습된 동역학 모델과 행동 선택에 사용되는 별도의 정책 네트워크를 사용하며, 양자 모두 오프-폴리시 업데이트를 통해 훈련된다.
• 이론적 성능 경계를 유도하였으며, 모델 및 가치 함수 근사 오차가 낮을 경우, 부정확한 모델이 있더라도 거의 최적의 성능을 달성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 모델 예측 롤아웃과 딥 액터-크리틱 학습을 융합함으로써, 로봇에서 스킬 습득을 위한 실제 환경 상호작용 횟수를 줄일 수 있는가?
• RQ2 MoPAC은 샘플 효율성을 유지하면서도 모델기반 RL의 모델 편향 문제를 어떻게 완화하는가?
• RQ3 MoPAC은 손가락이 많은 접촉이 많은 복잡한 조작 작업, 예를 들어 손안에서 물체를 돌리는 것과 재그립핑 작업에서 얼마나 빠르게 학습을 가속화할 수 있는가?
• RQ4 MPC 기반 계획과 MFRL의 탐색 능력을 융합함으로써 실물 로봇 플랫폼에서 더 나은 일반화 및 강건성을 달성할 수 있는가?
• RQ5 모델 및 가치 함수 근사 오차 하에서 MoPAC의 이론적 성능 보장 조건은 무엇인가?

주요 결과

• MoPAC은 시뮬레이션 제어 작업에서 MBPO와 같은 최신 기술(SOTA)을 능가하며, 더 적은 환경 상호작용으로 더 빠른 수렴을 달성한다.
• 물리적 네 손가락 로봇 손에 대해 MoPAC은 기준선 대비 밸브 조작 및 손가락 운동 제어 작업을 훨씬 더 빠르게 학습시켰으며, MBPO 대비 훈련 시간을 최대 50%까지 줄였다.
• 밸브 조작 작업의 경우 약 2시간 만에 수렴하였고, 손가락 운동 제어 작업은 약 5시간이 소요되었으며, 더 적은 에피소드 수로 수렴하였다.
• 알고리즘은 모델 부정확성에 대해 강건성을 보였으며, 이론적 성능 경계에 따라 근사 오차가 존재하더라도 높은 성능을 유지하였다.
• MoPAC는 뛰어난 샘플 효율성을 확보하여 실제 로봇 구현에 적합하였으며, 환경 손상이 우려되는 환경에서의 상호작용 횟수를 줄였다.
• 실험 결과는 MPC 롤아웃을 통한 이용과 MFRL의 탐색 능력 융합이 더 표현력 있는 동역학 모델과 최적의 정책 학습을 가능하게 한다는 것을 확인하였다.