[논문 리뷰] The LoCA Regret: A Consistent Metric to Evaluate Model-Based Behavior in Reinforcement Learning

Harm van Seijen, Hadi Nekoei외 2명|arXiv (Cornell University)|2020. 07. 07.

Reinforcement Learning in Robotics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 모델 기반 강화학습에서 에이전트가 국소적인 환경 변화에 얼마나 빨리 적응하는지 측정하는 새로운 지표인 국소적 변화 적응 손실(LoCA regret)을 도입한다. 이 방법은 심지어 단일 작업에서 뛰어난 표본 효율성을 보이는 최첨단 에이전트인 MuZero로 하더라도 최적의 모델 기반 적응 능력에 크게 못 미친다는 점을 드러내며, 현재의 지표들이 포착하지 못하는 적응 능력의 심각한 격차를 드러낸다.

ABSTRACT

Deep model-based Reinforcement Learning (RL) has the potential to substantially improve the sample-efficiency of deep RL. While various challenges have long held it back, a number of papers have recently come out reporting success with deep model-based methods. This is a great development, but the lack of a consistent metric to evaluate such methods makes it difficult to compare various approaches. For example, the common single-task sample-efficiency metric conflates improvements due to model-based learning with various other aspects, such as representation learning, making it difficult to assess true progress on model-based RL. To address this, we introduce an experimental setup to evaluate model-based behavior of RL methods, inspired by work from neuroscience on detecting model-based behavior in humans and animals. Our metric based on this setup, the Local Change Adaptation (LoCA) regret, measures how quickly an RL method adapts to a local change in the environment. Our metric can identify model-based behavior, even if the method uses a poor representation and provides insight in how close a method's behavior is from optimal model-based behavior. We use our setup to evaluate the model-based behavior of MuZero on a variation of the classic Mountain Car task.

연구 동기 및 목표

• 모델 기반 강화학습(RL) 방법을 평가하기 위한 일관되고 행동 기반의 지표가 부족한 문제를 해결하기 위해.
• 대표성 학습이나 탐색과 같은 다른 요소들과 분리하여 모델 기반 행동을 고립하고 측정하기 위해.
• RL 에이전트가 최적의 모델 기반 적응에 얼마나 가까이 도달하는지에 대한 정량적 기준을 제공하기 위해.
• 높은 단일 작업 표본 효율성은 환경 변화에 대한 강건한 적응 능력을 의미하지는 않음을 입증하기 위해.
• 실제 응용 분야에서 더 적응력 있는 모델 기반 RL 에이전트 개발을 이끌기 위해.

제안 방법

• 두 작업이 상태 공간의 소규모 영역에서만 다름을 보이며, 각각 다른 최적 정책이 필요한 두 작업 환경을 설계한다.
• 국소적 변화로 인해 첫 번째 작업에서 두 번째 작업으로 전환된 이후의 누적 손실을 LoCA 손실로 정의한다.
• 표본 기반 기준을 사용하여 이상적인 모델 기반 성능의 상한선을 설정하고, 비교를 가능하게 한다.
• 다양한 하이퍼파라미터를 가진 수정된 마운틴카 환경에서 MuZero와 Sarsa(λ)를 LoCA 손실 지표로 평가한다.
• 환경 변화 후 시간이 지남에 따라 손실을 추적하여 적응 속도를 측정하며, 낮은 손실은 더 빠르고 모델 기반에 가까운 적응을 의미한다.
• 최적의 모델 기반 기준 대비 성능을 비교하기 위해 상대적 이득 지표를 사용한다.

실험 결과

연구 질문

• RQ1 기존의 딥 모델 기반 RL 방법들은 단일 작업 표본 효율성과는 무관하게 국소적 환경 변화에 얼마나 잘 적응할 수 있는가?
• RQ2 적응 속도로 측정된 모델 기반 행동은 표준 벤치마크에서 최첨단 성능과 어느 정도 상관관계가 있는가?
• RQ3 MuZero와 같은 방법의 하이퍼파라미터나 내부 설계 선택이 국소적 변화에 대한 신속한 적응 능력을 저해하는 이유는 무엇인가?
• RQ4 대표성이 열악한 상황에서도 LoCA 손실 지표가 모델 기반 행동과 모델 프리 행동을 신뢰성 있게 구분할 수 있는가?
• RQ5 온정책 구성 요소가 포함될 경우, 방법의 환경 변화에 대한 적응 능력에 어떤 영향을 미치는가?

주요 결과

• MuZero의 LoCA 손실(ε=0.1, K=3일 때 5.93)은 최적의 모델 기반 기준(1.0)보다 뚜렷이 높아, 적응 능력 향상 여지가 크다는 것을 시사한다.
• 가장 높은 성능을 보인 MuZero 설정(ε=0.2)은 상대적 이득 3.25를 기록하여 여전히 최적의 모델 기반 행동에서 멀리 떨어져 있음을 보여준다.
• 계획 수준 K를 3에서 5로 늘리면 기본 손실은 향상되지만 LoCA 손실에는 영향을 주지 않아, 적응 속도 향상에 한계가 있음을 시사한다.
• MuZero는 ε ≥ 0.6일 경우 수렴하지 못해, 탐색 하이퍼파라미터가 학습 및 적응 능력에 결정적인 영향을 미친다는 것을 보여준다.
• Sarsa(λ)는 LoCA 손실에서 열등한 성능(12.55)을 보여, 모델 프리 성격과 변화에 대한 신속한 적응 부족을 확인한다.
• 결과는 높은 단일 작업 표본 효율성이 강력한 모델 기반 적응 능력을 의미하지는 않음을 입증하며, 현재 최첨단 방법에 대한 기존의 가정을 도전한다.