[논문 리뷰] Blending MPC & Value Function Approximation for Efficient Reinforcement Learning

Mohak Bhardwaj, Sanjiban Choudhury외 1명|arXiv (Cornell University)|2020. 12. 10.

Reinforcement Learning in Robotics참고 문헌 28인용 수 3

한 줄 요약

이 논문은 정확한 MPC 모델과 가치 함수 근사 간의 오차를 감쇠 인자 λ를 통해 체계적으로 상쇄함으로써 모델 예측 제어(MPC)와 모델리스 강화학습을 융합하는 MPQ(λ) 프레임워크를 제안한다. 이 방법은 심각한 모델 편향 조건에서도 샘플 효율적이며 고차원적 조작 작업에서 진정한 동역학을 갖춘 MPC와 유사한 성능을 달성한다.

ABSTRACT

Model-Predictive Control (MPC) is a powerful tool for controlling complex, real-world systems that uses a model to make predictions about future behavior. For each state encountered, MPC solves an online optimization problem to choose a control action that will minimize future cost. This is a surprisingly effective strategy, but real-time performance requirements warrant the use of simple models. If the model is not sufficiently accurate, then the resulting controller can be biased, limiting performance. We present a framework for improving on MPC with model-free reinforcement learning (RL). The key insight is to view MPC as constructing a series of local Q-function approximations. We show that by using a parameter $\lambda$, similar to the trace decay parameter in TD($\lambda$), we can systematically trade-off learned value estimates against the local Q-function approximations. We present a theoretical analysis that shows how error from inaccurate models in MPC and value function estimation in RL can be balanced. We further propose an algorithm that changes $\lambda$ over time to reduce the dependence on MPC as our estimates of the value function improve, and test the efficacy our approach on challenging high-dimensional manipulation tasks with biased models in simulation. We demonstrate that our approach can obtain performance comparable with MPC with access to true dynamics even under severe model bias and is more sample efficient as compared to model-free RL.

연구 동기 및 목표

• 실제 로봇 제어 작업에서 모델 편향으로 인한 MPC 성능 저하 문제를 해결한다.
• 학습 중에 근사 모델을 활용하여 모델리스 강화학습의 샘플 효율성을 향상시킨다.
• MPC 기반 계획과 학습된 가치 함수를 동적으로 균형 잡는 통합 프레임워크를 개발한다.
• 모델 부정확성과 계획 수평 불확실성의 다양한 수준에서도 견고한 성능을 확보한다.
• 정확한 동역학 모델에 대한 의존도를 줄이면서도 모델리스 강화학습과 진정한 동역학을 갖춘 MPC 수준의 높은 최종 성능를 유지한다.

제안 방법

• MPC를 유한한 수평 동안 국소 Q-함수 근사를 생성하는 것으로 간주한다.
• TD(λ)의 추적 감쇠와 유사한 블렌딩 인자 λ를 도입하여 MPC의 국소 Q-추정치와 학습된 가치 함수 사이를 선형 보간한다.
• 시간에 따라 변화하는 λ를 사용하여, 가치 함수 추정치가 향상됨에 따라 점차 MPC 모델에 대한 의존도를 감소시킨다.
• MPC의 비용-다음(cost-to-go)과 가치 함수 추정치를 조합한 유한 수평 계획 목적함수를 제안하며, 총 기대 비용을 최소화한다.
• 샘플 기반 MPC(예: MPPI)에 동적 λ 스케줄을 적용하여 모델 편향과 추정 분산 간의 균형을 맞춘다.
• 학습 중에 오프-폴리시 딥 강화학습 알고리즘(예: PPO)을 사용해 가치 함수를 훈련시켜 장기적 결정을 개선하면서도 짧은 기간 계획에는 MPC를 활용한다.

실험 결과

연구 질문

• RQ1 MPC와 모델리스 강화학습을 융합한 하이브리드 접근법이 제어 작업에서 모델 편향의 영향을 줄일 수 있는가?
• RQ2 MPC 모델 오차와 가치 함수 근사 오차 간의 상호 보완적 균형을 어떻게 체계적으로 조정할 수 있는가?
• RQ3 시간에 따라 감쇠되는 λ는 고정된 λ 또는 수평 조정에 비해 샘플 효율성과 최종 성능 향상에 기여하는가?
• RQ4 큰 모델 부정확성(예: 질량 또는 마찰 계수 편향) 조건에서도 MPQ(λ)가 성능을 유지할 수 있는 정도는 어느 정도인가?
• RQ5 샘플 기반 MPC에서 수평과 궤적 샘플 수의 변동에 대해 MPQ(λ)는 얼마나 견고한가?

주요 결과

• 심각한 모델 편향(예: 질량 편향 요소 b=2.0) 조건에서도 MPQ(λ)는 진정한 동역학을 갖춘 MPC와 모델리스 강화학습의 성능 수준에 도달한다.
• INHANDMANIPULATION 작업에서 MPQ(λ)는 150만 개의 학습 스텝 동안 개선이 없는 PPO에 비해 뚜렷한 승리를 거두었다.
• SAWYEROPEGINSERTION 작업에서 MPQ(λ)는 센서 노이즈에 적응하여 정밀한 삽입을 가능하게 했으며, 편향된 모델을 사용하는 MPPI는 목표 근처에서 제어가 열악해져 실패했다.
• 질량, 관성, 마찰 계수의 다양한 수준의 모델 편향 조건에서도 MPQ(λ)는 높은 성공률(편향된 MPPI 대비 30퍼센트 이상 높음)을 유지한다.
• 이 방법은 계획 수평과 입자 수에 대해 강건하다: 고정 수평 MPC에 비해 λ 도입으로 인해 이러한 하이퍼파라미터에 대한 민감도가 감소한다.
• 시간에 따라 감쇠되는 λ는 수평 조정에 비해 더 빠른 수렴과 더 나은 최종 성능를 보이며, 다양한 감쇠 속도에서도 안정적인 결과를 얻는다.