[논문 리뷰] Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping

Richard S. Sutton, Csaba Szepesvári외 2명|arXiv (Cornell University)|2012. 06. 13.

Reinforcement Learning in Robotics참고 문헌 25인용 수 107

한 줄 요약

이 논문은 선형 함수 근사와 우선순위 기반 스위핑을 통한 다이나 스타일 계획을 확장한 모델 기반 강화학습 알고리즘을 제안한다. 미묘한 조건 하에서 최소제곱 시간차분(LSTD) 해법으로 수렴함을 증명하며, 세계 모델에서 생성한 가상 경험을 통해 큰 상태 공간에서 효율적인 온라인 학습을 가능하게 하고, 상태가 아닌 관련 특징에 가치 추정치를 백업함으로써 성능을 향상시킨다.

ABSTRACT

We consider the problem of efficiently learning optimal control policies and value functions over large state spaces in an online setting in which estimates must be available after each interaction with the world. This paper develops an explicitly model-based approach extending the Dyna architecture to linear function approximation. Dynastyle planning proceeds by generating imaginary experience from the world model and then applying model-free reinforcement learning algorithms to the imagined state transitions. Our main results are to prove that linear Dyna-style planning converges to a unique solution independent of the generating distribution, under natural conditions. In the policy evaluation setting, we prove that the limit point is the least-squares (LSTD) solution. An implication of our results is that prioritized-sweeping can be soundly extended to the linear approximation case, backing up to preceding features rather than to preceding states. We introduce two versions of prioritized sweeping with linear Dyna and briefly illustrate their performance empirically on the Mountain Car and Boyan Chain problems.

연구 동기 및 목표

• 모델 기반 계획을 통해 큰 상태 공간에서 최적 정책과 가치 함수의 효율적 온라인 학습을 가능하게 하기.
• 다이나 아키텍처를 선형 함수 근사로 확장하여 상태 간 일반화를 가능하게 하기.
• 선형 근사 프레임워크에 우선순위 기반 스위핑을 통합하여 샘플 효율성 향상시키기.
• 자연스러운 조건 하에서 유일한 해, 특히 LSTD 해법으로 수렴함을 증명하기.
• Mountain Car와 Boyan Chain과 같은 고전적 제어 문제에서의 실증 성능를 입증하기.

제안 방법

• 계획을 위해 세계 모델을 사용하여 가상의 상태 전이(가상 경험)를 생성함.
• 가상 전이에 대해 선형 함수 근사를 사용한 모델 자유형 시간차분 학습을 적용함.
• 특징의 잠재적 영향을 기반으로 특징을 선택적으로 업데이트하기 위해 우선순위 기반 스위핑을 활용함.
• 이전 상태가 아닌 이전 특징에 업데이트를 백업함으로써 함수 근사에서 효율적인 전파를 가능하게 함.
• 두 가지 유형의 우선순위 기반 스위핑을 선형 다이나와 결합한 변형을 도입: 하나는 특징 수준의 우선순위 큐를 사용하고, 다른 하나는 상태 수준의 우선순위를 사용하면서 특징 업데이트를 수행함.
• 특징 표현과 모델 정확도에 대한 미약한 가정 하에서 최소제곱 시간차분(LSTD) 해법으로 수렴함을 증명함.

실험 결과

연구 질문

• RQ1 다이나 스타일 계획이 수렴 보장을 유지하면서 선형 함수 근사로 확장될 수 있는가?
• RQ2 선형 근사 설정에서 상태 대신 특징에 대해 우선순위 기반 스위핑을 적용할 경우, 그 타당성은 유지되는가?
• RQ3 표준 조건 하에서 해당 알고리즘이 LSTD 해법으로 수렴할 수 있는가?
• RQ4 선형 다이나와 우선순위 기반 스위핑을 적용한 알고리즘의 성능은 대조군 대비 어떻게 되는가? 특히 대규모 제어 문제에서의 성능를 비교함.
• RQ5 특징 수준의 우선순위와 상태 수준의 우선순위는 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 선형 다이나 스타일 계획 알고리즘은 미약한 조건 하에서 데이터 생성 분포에 관계없이 유일한 고정점으로 수렴함.
• 정책 평가 설정에서 알고리즘의 수렴점은 최소제곱 시간차분(LSTD) 해법임을 엄밀히 증명함.
• 이전 상태가 아닌 이전 특징에 대해 백업하는 방식으로, 우선순위 기반 스위핑을 선형 근사 케이스로 타당하게 확장할 수 있음.
• Mountain Car와 Boyan Chain 문제에 대한 실증 결과는 기존 다이나 및 우선순위 기반 미적용 기준 대비 더 높은 샘플 효율성과 더 빠른 수렴을 보임.
• 선형 다이나와 우선순위 기반 스위핑을 조합한 두 가지 변형 모두 경쟁적인 성능를 보이며, 고차원 특징 공간에서는 특징 수준 우선순위가 더 뛰어난 확장성을 제공함.
• 이론적 분석을 통해 알고리즘이 함수 근사 조건 하에서도 안정성과 수렴성을 유지함을 확인하였으며, 이는 이전 모델 기반 방법에 비해 중대한 발전임.