[논문 리뷰] When to Update Your Model: Constrained Model-based Reinforcement Learning

Tianying Ji, Yu Luo외 4명|arXiv (Cornell University)|2022. 10. 15.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 모델 업데이트 시점을 동적으로 결정하는 이벤트 트리거드 메커니즘을 사용하는 제약 기반 모델 기반 강화학습 알고리즘인 CMLO를 제안한다. 이는 성능 향상의 단조성 보장을 위해 제안한다. 모델 이동 제약 조건과 성능 하한 사이의 이론적 연관성을 통해 CMLO는 최신 기술 방법들보다 더 빠른 학습과 뛰어난 渐진 수익을 연속 제어 벤치마크에서 달성한다.

ABSTRACT

Designing and analyzing model-based RL (MBRL) algorithms with guaranteed monotonic improvement has been challenging, mainly due to the interdependence between policy optimization and model learning. Existing discrepancy bounds generally ignore the impacts of model shifts, and their corresponding algorithms are prone to degrade performance by drastic model updating. In this work, we first propose a novel and general theoretical scheme for a non-decreasing performance guarantee of MBRL. Our follow-up derived bounds reveal the relationship between model shifts and performance improvement. These discoveries encourage us to formulate a constrained lower-bound optimization problem to permit the monotonicity of MBRL. A further example demonstrates that learning models from a dynamically-varying number of explorations benefit the eventual returns. Motivated by these analyses, we design a simple but effective algorithm CMLO (Constrained Model-shift Lower-bound Optimization), by introducing an event-triggered mechanism that flexibly determines when to update the model. Experiments show that CMLO surpasses other state-of-the-art methods and produces a boost when various policy optimization methods are employed.

연구 동기 및 목표

• 모델 기반 강화학습에서 정책과 모델 업데이트를 번갈아 수행할 때 발생하는 통제되지 않은 모델 이동으로 인한 성능의 비단조적 특성 문제를 해결하기 위해.
• 모델 이동을 제약 조건으로 설정하여 MBRL에서 단조적 향상을 보장하는 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 동적 탐색 요구에 따라 모델 업데이트 시점을 적응적으로 결정하는 실용적인 알고리즘을 설계하기 위해.
• 모델 업데이트 단계당 탐색 횟수를 다양화하면 모델 정확도와 최종 정책 성능 향상에 기여하는지 검증하기 위해.
• 이벤트 트리거드 메커니즘이 학습 비용을 줄이고 샘플 효율성과 정책 커버리지 향상에 기여하는지 검증하기 위해.

제안 방법

• 단일 스텝 모델 정확도와 모델 이동 제약 조건을 성능 향상 하한에 연결하는 새로운 이론적 기법을 제안한다.
• 약한 가정 하에 MBRL에서 단조적 향상을 보장하기 위해 제약 조건이 포함된 하한 최적화 문제를 유도한다.
• 추정된 모델 이동 제약 조건을 바탕으로 모델 업데이트 시점을 결정하는 이벤트 트리거드 메커니즘을 사용하는 단순하면서도 효과적인 알고리즘인 CMLO를 도입한다.
• 새로운 모델 훈련 단계를 시작하기 전에 모델 이동이 사전 정의된 범위 내에 유지되는지 평가하는 트리거 조건을 적용한다.
• 다양한 정책 최적화 백본에 프레임워크를 적용하여 다양한 MBRL 아키텍처 간의 일반화 능력을 입증한다.
• MBPO와 같은 최신 기술 방법들과의 비교를 위해 여섯 개의 연속 제어 벤치마크에서 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 동적 모델 업데이트가 이루어지는 상황에서도 모델 기반 강화학습에서 성능 향상의 단조성을 이론적으로 보장할 수 있는 방법은 무엇인가?
• RQ2 MBRL에서 모델 이동의 크기와 성능 향상 사이의 관계는 무엇인가?
• RQ3 모델 업데이트 이전의 탐색 횟수를 동적으로 변화시키는 것이 더 높은 모델 정확도와 정책 성능 향상에 기여할 수 있는가?
• RQ4 고정 간격 업데이트와 비교했을 때 이벤트 트리거드 모델 업데이트 메커니즘은 샘플 효율성과 점차적 수익 측면에서 어떻게 다를 수 있는가?
• RQ5 모델 이동을 제약 조건으로 설정함으로써 일반화 능력 향상과 미충분한 탐색 데이터에 대한 과적합 방지에 어느 정도 기여하는가?

주요 결과

• CMLO는 여섯 개의 모든 벤치마크 작업에서 최신 기술 MBRL 방법들, 특히 MBPO보다 더 빠른 학습과 높은 점차적 수익을 달성한다.
• HalfCheetah에서 CMLO는 첫 300,000 단계 이내에 MBPO보다 평균 수익에서 약 1,855.29의 우위를 보였다.
• CMLO에서는 정책 커버리지가 MBPO보다 더 일관되게 증가하여 더 나은 탐색과 局부 최적화 위험 감소를 나타낸다.
• 이벤트 트리거드 메커니즘은 모델 훈련 빈도를 감소시키면서도 모든 벤치마크에서 낮은 단일 스텝 모델 오차를 유지하거나 향상시켜 모델 정확도를 유지를 보여준다.
• 제거 실험 결과는 이벤트 트리거드 메커니즘이 통계적으로 유의미한 성능 향상을 가져옴을 확인하였으며, 모든 작업에서 p-값이 0.05 이하였다.
• 트리거 조건의 시각화 결과, 메커니즘이 모델 이동이 임계값을 초과할 때만 활성화됨을 확인하여 적시적이고 효율적인 업데이트를 보장함을 입증하였다.