[논문 리뷰] Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods

Yi Wan, Ali Rahimi-Kalahroudi외 4명|PolyPublie (École Polytechnique de Montréal)|2022. 04. 25.

Greenhouse Technology and Climate Control인용 수 4

한 줄 요약

이 논문은 모델 기반 강화학습(MBRL)에서 적응성 평가를 위해 개선된 LoCA 설정을 제안하며, PlaNet 및 DreamerV2와 같은 주요 딥 MBRL 방법들이 국소 환경 변화에 효과적으로 적응하지 못함을 입증한다. 특히 치명적인 기억 상실(catastrophic forgetting)과 모델 근사 오류 문제를 포함한 네 가지 실패 유형을 규명함으로써, 수정된 선형 Dyna가 효과적인 적응을 달성할 수 있음을 보이며, 비선형 변형들은 해결되지 않은 실패 유형으로 인해 어려움을 겪는다.

ABSTRACT

In recent years, a growing number of deep model-based reinforcement learning (RL) methods have been introduced. The interest in deep model-based RL is not surprising, given its many potential benefits, such as higher sample efficiency and the potential for fast adaption to changes in the environment. However, we demonstrate, using an improved version of the recently introduced Local Change Adaptation (LoCA) setup, that well-known model-based methods such as PlaNet and DreamerV2 perform poorly in their ability to adapt to local environmental changes. Combined with prior work that made a similar observation about the other popular model-based method, MuZero, a trend appears to emerge, suggesting that current deep model-based methods have serious limitations. We dive deeper into the causes of this poor performance, by identifying elements that hurt adaptive behavior and linking these to underlying techniques frequently used in deep model-based RL. We empirically validate these insights in the case of linear function approximation by demonstrating that a modified version of linear Dyna achieves effective adaptation to local changes. Furthermore, we provide detailed insights into the challenges of building an adaptive nonlinear model-based method, by experimenting with a nonlinear version of Dyna.

연구 동기 및 목표

• 지속적 제어 설정에서 국소 환경 변화에 대해 딥 모델 기반 강화학습(MBRL) 방법의 적응성을 평가하는 것.
• 근사(비표본) MBRL 알고리즘에서 효과적인 적응을 방해하는 근본적인 실패 유형을 규명하는 것.
• MBRL 적응성 평가를 위한 더 견고하고 하이퍼파rameter에 민감하지 않은 로컬 변경 적응(Local Change Adaptation, LoCA) 설정을 개발하고 검증하는 것.
• 희박 보상, 확률적 환경에서 선형 Dyna에 대한 단순한 수정이 효과적인 적응을 이끌 수 있음을 보여주는 것.
• 특히 치명적인 기억 상실과 근사 오류로 인해 비선형 모델 기반 방법에서 적응이 어려운 이유를 조사하는 것.

제안 방법

• 기존 설정을 단순화하고 하이퍼파ram터 민감도를 감소시키며 확률적 환경 적용도 가능하게 한 개선된 LoCA 설정을 제안한다.
• 이중 단계 LoCA 실험을 수행: 첫 번째 단계에서 Task A와 종료 상태 T1로 학습한 후, 동일한 환경에서 새로운 종료 상태 T2를 가진 Task B로의 적응성을 테스트한다.
• 함수 근사, 경험 재생, 모델 기반 계획을 통합한 수정된 선형 Dyna 알고리즘을 사용하여 국소 변화에 대한 빠른 적응을 가능하게 한다.
• 개선된 LoCA 설정 하에서 딥 MBRL 방법(PlaNet, DreamerV2, MuZero)을 MuJoCo Reacher 환경에서 실증적으로 평가한다.
• 비선형 모델 기반 에이전트를 학습시켜 실패 유형을 분석하며, 유사한 구성 요소를 사용함에도 불구하고 적응에 실패하는 것을 관찰한다.
• 실패 유형을 특정 알고리즘 구성 요소와 연결: 모델 근사 오류, 부족한 경험 재생, 비표본 설정에서의 이전 지식 유지 실패, 치명적인 기억 상실.

실험 결과

연구 질문

• RQ1 PlaNet 및 DreamerV2와 같은 현대적인 딥 모델 기반 RL 방법들이 LoCA 벤치마크로 측정했을 때 국소 환경 변화에 효과적으로 적응하는가?
• RQ2 근사 모델 기반 RL 알고리즘에서 적응 행동을 방해하는 주요 실패 유형은 무엇인가?
• RQ3 수정된 선형 Dyna 알고리즘이 도전적이고 확률적이며 보상이 희박한 환경에서 효과적인 적응을 달성할 수 있는가?
• RQ4 비선형 모델 기반 방법들이 성공적인 선형 변형과 유사한 구성 요소를 사용하고도 LoCA 설정에서 적응에 실패하는 이유는 무엇인가?
• RQ5 치명적인 기억 상실이 지속 학습 시나리오에서 딥 MBRL 에이전트의 적응성에 얼마나 큰 제한을 가하는가?

주요 결과

• 개선된 LoCA 설정 하에서 PlaNet과 DreamerV2는 MuJoCo Reacher 도메인에서 국소 환경 변화에 대해 빈약한 적응성을 보였다.
• 개선된 LoCA 설정은 원래 버전보다 더 단순하고 하이퍼파ram터 민감도가 낮으며, 확률성에 더 견고하다.
• 수정된 선형 Dyna 알고리즘은 희박 보상, 확률적 환경에서 효과적인 적응을 달성하여, 적절한 설계로 적응이 가능하다는 것을 입증했다.
• 비선형 Dyna Q의 적응 실패 원인은 주로 치명적인 기억 상실과 모델 근사 오류이며, 이는 비선형 함수 근사에서 악화된다.
• 네 가지 핵심 실패 유형이 규명되었으며, (1) 모델 근사 오류, (2) 부족한 경험 재생, (3) 이전 지식 유지 실패, (4) 치명적인 기억 상실이다. 이 중에서 후자는 극복하기 가장 어려운 문제이다.
• MuZero에 대한 이전 결과와 결합하여, 현재 딥 MBRL 방법에는 체계적인 한계가 있음을 시사한다: 국소 변화에 대한 신속한 적응에 어려움을 겪으며, 이는 모델 기반 학습의 核심 기대 기능을 약화시킨다.