[논문 리뷰] Practical Reinforcement Learning For MPC: Learning from sparse objectives in under an hour on a real robot

Napat Karnchanachari, Miguel I. Valls외 2명|arXiv (Cornell University)|2020. 03. 06.

Advanced Control Systems Optimization인용 수 7

한 줄 요약

이 논문은 실제 무인 지상 차량(UGV)에서 모델 예측 제어(MPC)의 성능을 향상시키기 위해 희박하고 이元적인 보상만으로 가치 함수를 훈련하는 실용적인 강화학습 접근법을 제안한다. 기울기 정규화, 경험 재현, n단계 타겟을 활용한 딥 가치 함수 학습과 MPC의 통합을 통해, 현장 CPU에서 실시간으로 30분 이내에 전문가 수준의 성능을 달성하였으며, 기준 MPC 및 밀도 높은 보상 강화학습 기반 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Model Predictive Control (MPC) is a powerful control technique that handles constraints, takes the system's dynamics into account, and optimizes for a given cost function. In practice, however, it often requires an expert to craft and tune this cost function and find trade-offs between different state penalties to satisfy simple high level objectives. In this paper, we use Reinforcement Learning and in particular value learning to approximate the value function given only high level objectives, which can be sparse and binary. Building upon previous works, we present improvements that allowed us to successfully deploy the method on a real world unmanned ground vehicle. Our experiments show that our method can learn the cost function from scratch and without human intervention, while reaching a performance level similar to that of an expert-tuned MPC. We perform a quantitative comparison of these methods with standard MPC approaches both in simulation and on the real robot.

연구 동기 및 목표

• 고수준의 희박한 목표만을 사용하여 MPC 컨트롤러의 엔드 투 엔드, 인간 불필요 훈련을 가능하게 하기 위해.
• MPC에서 복잡한 비용 함수를 튜닝하는 과제를 가치 기반 강화학습을 통해 극복하기 위해.
• 최소한의 계산 자원을 사용하여 물리적 로봇에서 샘플 효율적이고 실시간 학습을 수행하기 위해.
• 시뮬레이션과 실제 하드웨어에서 기반 학습 MPC의 성능을 표준 MPC 및 전문가 튜닝 MPC와 비교하기 위해.
• 희박한 보상으로 학습한 가치 함수 학습이 실세계 구현에서 밀도 높은 보상 강화학습보다 뛰어난 성능을 낼 수 있음을 검증하기 위해.

제안 방법

• 비평가가 깊이 있는 신경망을 사용하여 가치 함수 $ V_{\theta}(\boldsymbol{s}) $ 를 추정하는 액터-비평가 프레임워크를 사용하며, 평균 제곱 오차 손실을 사용한 시간 차분 학습 방식으로 훈련된다.
• MPC 최적화 과정 중 수치적 안정성과 수렴성을 향상시키기 위해 가치 네트워크의 야코비안에 기울기 정규화를 적용한다.
• 시스템 대칭성 기반 데이터 증강을 활용한 경험 재현은 샘플 효율성과 대칭 상태 간의 일반화를 향상시킨다.
• 편향과 분산을 균형 잡기 위해 n단계 리턴 타겟을 사용하여 훈련 수렴 속도를 가속화한다.
• 온라인 네트워크에서 부트스트랩 타겟을 분리함으로써 훈련 안정성을 높이기 위해 타겟 네트워크를 도입한다.
• MPC 액터는 학습된 가치 함수를 종료 비용으로 사용하여 전역 최적화와 향상된 궤적 계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박하고 이원적인 보상만으로 학습된 가치 함수가 실물 로봇에서 전문가 튜닝 MPC와 유사한 성능을 달성할 수 있는가?
• RQ2 가치 함수 학습을 MPC와 통합하면 물리적 시스템에서 샘플 효율성과 수렴성 향상에 기여하는가?
• RQ3 모든 훈련을 차량 내부 CPU에서 수행할 수 있으며, 1시간 이내에 높은 성능을 달성할 수 있는가?
• RQ4 실세계 구현에서 희박한 보상으로부터 학습하는 것과 밀도 높은 보상으로부터 학습하는 것의 성능는 어떻게 비교되는가?
• RQ5 기울기 정규화와 데이터 증강이 실세계 MPC에서 훈련 안정성과 성능 향상에 어느 정도 기여하는가?

주요 결과

• 메모리 내 CPU에서 실시간으로 30분 이내의 실세계 훈련 후, 전문가 튜닝 MPC 컨트롤러와 유사한 성능를 달성하였다.
• 모델 시뮬레이션 및 실세계 실험 모두에서 표준 MPC 기준선 및 밀도 높은 보상 강화학습 기준선보다 뛰어난 성능를 보였다.
• 기울기 정규화는 훈련 중 안정적인 MPC 최적화를 위해 필수적이었으며, 발산을 방지하고 실세계 구현을 가능하게 하였다.
• 시스템 대칭성을 기반으로 한 데이터 증강은 추가적인 데이터 수집 없이도 일반화 능력과 샘플 효율성을 향상시켰다.
• n단계 리턴 타겟은 TD(0) 또는 몬테카를로 타겟 대비 더 빠른 수렴을 기여하였다.
• 희박하고 이원적인 보상만으로도 학습이 가능하여 장기적인 수평 작업에서 희박한 보상 할당 문제에 대한 강건성을 입증하였다.