[논문 리뷰] Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees

Kishan Panaganti, Dileep Kalathil|arXiv (Cornell University)|2020. 06. 20.

Reinforcement Learning in Robotics참고 문헌 32인용 수 12

한 줄 요약

이 논문은 선형 함수 근사와 함께 큰 상태 공간을 가진 강건 마르코프 결정 과정(RMDPs)을 위한 모델-프리 강화 학습 알고리즘인 강건 최소 제곱 정책 반복(RLSPI)을 제안한다. 이는 증명 가능하게 수렴하는 강건 최소 제곱 정책 평가(RLSPE) 알고리즘을 도입하고, 학습된 정책의 부분최적성에 대한 $L_2$-노름 경계를 확립하여 MountainCar 및 FrozenLake8x8와 같은 벤치마크 환경에서 파rameter 불확실성 하에서도 강건한 성능을 보여준다.

ABSTRACT

This paper addresses the problem of model-free reinforcement learning for Robust Markov Decision Process (RMDP) with large state spaces. The goal of the RMDP framework is to find a policy that is robust against the parameter uncertainties due to the mismatch between the simulator model and real-world settings. We first propose the Robust Least Squares Policy Evaluation algorithm, which is a multi-step online model-free learning algorithm for policy evaluation. We prove the convergence of this algorithm using stochastic approximation techniques. We then propose Robust Least Squares Policy Iteration (RLSPI) algorithm for learning the optimal robust policy. We also give a general weighted Euclidean norm bound on the error (closeness to optimality) of the resulting policy. Finally, we demonstrate the performance of our RLSPI algorithm on some standard benchmark problems.

연구 동기 및 목표

• 큰 상태 공간에서 모델-프리 강건 강화 학습에 대한 이론적 보장을 부족한 문제를 해결한다.
• 시뮬레이터-현실 불일치에 대비한 파rameter 불확실성에 강건한 학습 기반 정책 반복 프레임워크를 개발한다.
• RMDPs에서 정책 평가 및 정책 반복에 대한 증명 가능한 수렴성 및 성능 경계를 제공한다.
• 이론적 엄밀함을 유지하면서 선형 함수 근사를 통해 확장 가능한 강건 정책 학습을 가능하게 한다.
• 다양한 환경 파rameter 변동 하에서 표준 벤치마크 환경에서의 강건성을 입증한다.

제안 방법

• 선형 함수 근사를 사용하여 RMDP 불확실성 하에서 정책 평가를 위한 다단계, 온라인, 모델-프리 알고리즘인 강건 최소 제곱 정책 평가(RLSPE(λ))를 제안한다.
• 일반 조건 하에서 RLSPE(λ)의 수렴성을 보장하기 위해 확률적 근사 기법을 적용한다.
• RLSPE(λ)를 통합하여 강건 정책 학습을 위한 정책 반복 프레임워크인 강건 최소 제곱 정책 반복(RLSPI)을 도입한다.
• RLSPI의 임의의 반복 단계에서 정책의 오차(최적성에 가까움)에 대한 일반적인 가중 유한 노름 경계를 유도한다.
• 환경 내 파rameter 변동을 모델링하기 위해 구형 불확실성 집합을 사용하여 시뮬레이터-현실 불일치를 포괄한다.
• 크기 있는 상태 공간에서의 확장성과 분석 가능성을 확보하기 위해 선형 기저 함수를 사용하여 함수 근사를 수행한다.

실험 결과

연구 질문

• RQ1 증명 가능한 수렴성과 성능 보장을 갖춘 모델-프리, 온라인, 확장 가능한 정책 반복 알고리즘을 RMDPs에 대해 개발할 수 있는가?
• RQ2 함수 근사를 사용하면서도 이론적 엄밀함을 유지한 채로 큰 상태 공간에서 강건 정책 평가를 어떻게 달성할 수 있는가?
• RQ3 불확실성 하에서 강건 정책 반복을 통해 학습된 정책의 부분최적성에 대한 이론적 경계는 무엇인가?
• RQ4 제안된 알고리즘이 표준 RL 환경에서 비강건 기준 대비 파rameter 변동에 대해 어떻게 성능을 발휘하는가?
• RQ5 질량, 마찰계수, 동작 노이즈와 같은 다양한 환경 파rameter 변화에 대비해 정책의 강건성이 유지될 수 있는가?

주요 결과

• RLSPE(λ) 알고리즘은 확률적 근사 조건 하에서 수렴하여 불확실성 존재 하에서도 안정적인 정책 평가를 보장한다.
• RLSPI 알고리즘은 학습된 정책의 오차에 대한 증명 가능한 $L_2$-노름 경계를 확보하여 최적의 강건 정책에 대비한다.
• MountainCar 환경에서 RLSPI는 max_speed와 power의 변동 하에서도 안정된 성능을 유지하지만, LSPI는 성능이 크게 악화된다.
• FrozenLake8x8에서 RLSPI는 랜덤 동작 확률 증가에 대해 강건성을 보이며, 목표 도달 시간과 성공률 모두에서 비강건 방법을 능가한다.
• CartPole, Acrobot, MountainCar 등 다양한 환경에서 파rameter 변동에 대비해 RLSPI의 성능은 일관되게 유지된다.
• 알고리즘은 불확실성 반경 $r$의 하이퍼파ram터 튜닝 없이도 선형 함수 근사를 통해 강건성을 달성하고 이론적 보장을 확보함을 입증한다.