[논문 리뷰] MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty

Anubhav Guha, Anuradha M. Annaswamy|arXiv (Cornell University)|2020. 11. 20.

Reinforcement Learning in Robotics참고 문헌 40인용 수 5

한 줄 요약

이 논문은 모델기반적 적응 제어(MRAC)를 내부 루프에, 강화학습(RL)을 외부 루프에 통합한 새로운 프레임워크인 MRAC-RL을 제안한다. 이는 매개변수 불확실성 하에서 실시간 정책 적응을 가능하게 하며, 시뮬레이션에서 실제 세계로의 이행 시 참조 추적 성능을 크게 향상시키고 비용을 감소시킨다. 심지어 매개변수 오차가 ±100%에 이르는 상황에서도 PPO, SAC, DDPG와 같은 최신 RL 알고리즘을 능가한다.

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully used to develop control policies for dynamical systems. For many such systems, these policies are trained in a simulated environment. Due to discrepancies between the simulated model and the true system dynamics, RL trained policies often fail to generalize and adapt appropriately when deployed in the real-world environment. Current research in bridging this sim-to-real gap has largely focused on improvements in simulation design and on the development of improved and specialized RL algorithms for robust control policy generation. In this paper we apply principles from adaptive control and system identification to develop the model-reference adaptive control & reinforcement learning (MRAC-RL) framework. We propose a set of novel MRAC algorithms applicable to a broad range of linear and nonlinear systems, and derive the associated control laws. The MRAC-RL framework utilizes an inner-loop adaptive controller that allows a simulation-trained outer-loop policy to adapt and operate effectively in a test environment, even when parametric model uncertainty exists. We demonstrate that the MRAC-RL approach improves upon state-of-the-art RL algorithms in developing control policies that can be applied to systems with modeling errors.

연구 동기 및 목표

• 시뮬레이션과 실제 시스템 간의 모델링 오차로 인해 지속적으로 발생하는 시뮬레이션-실세계 일반화 갭을 해결하기 위해.
• 재학습이나 도메인 랜덤라이제이션 없이도 매개변수 불확실성에 대응해 RL로 학습된 정책의 실시간 적응을 가능하게 하는 프레임워크를 개발하기 위해.
• 모델기반적 적응 제어(MRAC)의 이론적 안정성 보장을 활용하여 불확실성 하에서도 목표 시스템 행동으로의 수렴을 보장하기 위해.
• 적응 제어와 RL의 통합이 기준 제어 작업에서 추적 오차 감소 및 비용 최소화 측면에서 성능 향상을 이룬다는 것을 입증하기 위해.
• 기존의 강건한 RL 알고리즘이나 시뮬레이션 기법과의 모듈러한 확장 가능성을 제공하기 위해.

제안 방법

• MRAC-RL 프레임워크는 매개변수 모델 불확실성을 실시간으로 보정하기 위한 MRAC 원리를 기반으로 한 내부 루프 적응 제어기를 사용한다.
• 외부 루프 제어 정책은 시뮬레이션에서 강화학습(PPO, SAC, DDPG 등)을 통해 학습되며, 실제 세계 적용 시 고정된다.
• 적응 제어기는 참조 모델을 통해 목표 시스템 행동을 정의하고, 매개변수 불일치가 존재하더라도 실제 시스템이 이 행동을 따라가도록 유도한다.
• 핵심 방정정식은 (5), (6), (8), (9)에 제시된 제어 법칙으로, 온건한 조건 하에서 점점 수렴하는 추적 오차의 안정성과 수렴성을 보장한다.
• 프레임워크는 이론적으로 안정성 증명(정리 3.1–3.4)을 바탕으로 하며, 매개변수 불확실성 하에서 lim_{t→∞} ||e(t)|| = 0 임을 보여준다.
• 프레임워크는 선형 및 비선형 역자이형 펜듈럼 작업에 적용되었으며, 추적 오차와 비용 지표를 통해 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 사전에 학습된 RL 정책과 적응 제어 레이어를 효과적으로 통합하여 매개변수 모델 불확실성이 존재하는 상황에서도 강건성을 향상시킬 수 있는가?
• RQ2 모델링 오차가 존재하는 실제 시스템에 적용했을 때, MRAC-RL 프레임워크는 표준 RL 알고리즘보다 우수한 參考 추적 성능을 달성하는가?
• RQ3 재학습 없이도 질량과 길이에 대해 ±25%의 오차, 점성 저항에 대해 ±100%의 오차를 포함한 광범위한 매개변수 변동에 대해 성능을 유지할 수 있는가?
• RQ4 내부 루프의 적응 제어가 실제 세계 적용에서 비용 함수와 추적 오차에 어떤 영향을 미치는가?
• RQ5 기존의 강건한 RL 알고리즘이나 시뮬레이션 기법과의 모듈러한 통합이 가능한가?

주요 결과

• MRAC-RL 프레임워크는 역자이형 펜듈럼 작업에서 직접 정책 적용 대비 훨씬 낮은 평균 추적 오차로 참조 추적 성능을 크게 향상시켰다.
• 모든 테스트된 매개변수 변동 조건에서 기준 RL 알고리즘 대비 MRAC-RL 프레임워크를 사용할 경우 평균 비용 $ c( heta, heta, u) $ 가 크게 감소했다.
• 질량과 길이에 대해 ±25% 오차, 점성 저항에 대해 ±100% 오차 상황에서도 강건한 성능 유지를 보이며 큰 모델링 오차에 대한 뛰어난 일반화 능력을 입증했다.
• 도메인 랜덤라이제이션 또는 재학습 없이도 MRAC 내부 루프가 효과적인 적응을 가능하게 하여 원래 정책의 성능 특성을 유지했다.
• 이론적 안정성 분석을 통해 온건한 조건 하에서 추적 오차가 0으로 수렴하는 것으로 확인되어 장기적인 시스템 성능 보장을 보장한다.
• 높은 수준의 매개변수 불확실성 하에서도 추적 정확도와 비용 최소화 측면에서 최신 RL 알고리즘(PPO, SAC, DDPG)을 능가하는 성능을 보였다.