[논문 리뷰] Planning with Expectation Models

Yi Wan, Zaheer Abbas외 3명|arXiv (Cornell University)|2019. 04. 02.

Reinforcement Learning in Robotics참고 문헌 2인용 수 5

한 줄 요약

이 논문은 기대 모델을 활용하여 확률적 환경에서 계획을 수행하기 위해 새로운 목표 함수인 모델 기반 평균 제곱 투영 벨만 오차(MB-MSPBE)를 도입한 모델 기반 정책 평가 알고리즘인 Gradient Dyna를 제안한다. 이는 이전 연구보다 더 유연한 조건 하에서도 수렴성을 보이며, 표준 방법이 발산하는 상황에서도 안정적이고 정확한 가치 함수 학습을 경험적으로 입증한다.

ABSTRACT

Distribution and sample models are two popular model choices in model-based reinforcement learning (MBRL). However, learning these models can be intractable, particularly when the state and action spaces are large. Expectation models, on the other hand, are relatively easier to learn due to their compactness and have also been widely used for deterministic environments. For stochastic environments, it is not obvious how expectation models can be used for planning as they only partially characterize a distribution. In this paper, we propose a sound way of using approximate expectation models for MBRL. In particular, we 1) show that planning with an expectation model is equivalent to planning with a distribution model if the state value function is linear in state features, 2) analyze two common parametrization choices for approximating the expectation: linear and non-linear expectation models, 3) propose a sound model-based policy evaluation algorithm and present its convergence results, and 4) empirically demonstrate the effectiveness of the proposed planning algorithm.

연구 동기 및 목표

• 일반적으로 결정론적 환경에서 사용되는 기대 모델을 임의의 확률적 환경에서 계획에 안정적으로 활용할 수 있는가에 도전한다.
• 기대 모델을 사용하는 이전 모델 기반 정책 평가 방법에서 발생하는 불안정성과 수렴성 부족 문제를 해결한다.
• 확률적 MDP에서 기대 모델을 사용한 이론적으로 탄탄한, 수렴 보장이 되는 알고리즘을 개발한다.
• 상태 특징에 대한 선형 가치 함수가 존재할 경우, 기대 모델 기반 계획과 전체 분포 모델 기반 계획 간의 동치성을 입증한다.
• 이전 연구보다 더 약한 가정 조건 하에서도 안정적인 학습과 수렴을 가능하게 하는 새로운 목표 함수(MB-MSPBE)를 수립한다.

제안 방법

• 기대 모델을 사용한 정책 평가를 위한 새로운 목표 함수인 모델 기반 평균 제곱 투영 벨만 오차(MB-MSPBE)를 제안한다.
• MB-MSPBE를 최소화하는 기울기 기반 계획 알고리즘(Gradient Dyna)을 유도하며, 이는 이전 방법보다 더 유연한 조건 하에서도 수렴성을 보장한다.
• 상태 가치가 상태 특징 벡터에 대해 선형인 특징 기반 표현을 사용하여, 분포 기반 계획과 이론적으로 동치가 되도록 한다.
• 행동 정책로부터 수집한 경험을 바탕으로 온라인 모델 학습을 적용하며, 다음 상태 특징과 보상에 대해 평균 제곱 오차를 사용해 기대 모델을 업데이트한다.
• 수렴을 위한 i.i.d. 조건을 근사하기 위해 최근에 방문한 상태들로부터 샘플링하는 검색 제어 기법을 도입하여 실무에서의 안정성을 향상시킨다.
• 타일 코딩 또는 학습된 특징 표현을 사용해 상태를 고정된 차원의 벡터로 매핑함으로써, 고차원 공간에서의 효율적 함수 근사 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기대 모델이 분포 정보의 일부만 캡처할 뿐이지만, 확률적 환경에서 계획에 신뢰성 있게 사용될 수 있는가?
• RQ2 기대 모델 기반 계획이 전체 분포 모델 기반 계획과 동치가 되는 조건은 무엇인가?
• RQ3 기대 모델을 사용하는 모델 기반 정책 평가 알고리즘이 이전 접근보다 더 약한 가정 조건 하에서도 수렴할 수 있는가?
• RQ4 기대 모델의 선형 및 비선형 파arameterization 선택이 성능 및 안정성에 미치는 영향는 어떠한가?
• RQ5 기대 모델을 대상으로 하는 기울기 기반 알고리즘이 표준 방법이 발산하는 상황에서도 실무적으로 안정적이고 정확한 가치 함수 추정을 달성할 수 있는가?

주요 결과

• Gradient Dyna는 Four Rooms 및 Mountain Car 환경에서 모두 오프-정책 LSTD 해에 수렴하며, 후자의 경우 오차가 0.001로 매우 높은 정확도를 보였다.
• 반례 도메인에서 선형 및 비선형 기대 모델을 사용한 TD(0)는 가치 함수가 발산했지만, Gradient Dyna는 안정적으로 수렴하여 RMSE 2.0을 달성했다.
• 이론적 분석 결과, 가치 함수가 상태 특징 벡터에 대해 선형일 경우 기대 모델 기반 계획이 분포 모델 기반 계획과 동치임을 입증했다.
• 제안된 MB-MSPBE 목표 함수는 이전 연구에서 가정한 조건보다 더 유연한 조건 하에서도 수렴 가능함을 보였다. 예를 들어, Sutton 등(2012)의 연구와 비교할 수 있다.
• 비선형 기대 모델은 진정한 가치 함수가 선형인 경우에도 더 뛰어난 근사 능력과 안정성 덕분에 이론적으로 타당하다.
• 경험적 결과는 Gradient Dyna가 다양한 확률적 환경에서 안정성과 정확성을 유지하며, 유사 조건에서 발산하는 표준 모델 기반 방법들을 능가함을 확인했다.