[논문 리뷰] Finite Sample Analysis of the GTD Policy Evaluation Algorithms in Markov Setting

Yue Wang, Wei Chen외 3명|arXiv (Cornell University)|2017. 12. 01.

Reinforcement Learning in Robotics인용 수 25

한 줄 요약

이 논문은 마르코프 설정에서 기울기 기반 시간차(GTD) 정책 평가 알고리즘에 대한 최초의 유한 표본 분석을 제공하며, 마르코프 과정의 혼합 시간에 따라 달라지는 수렴 경계를 도출한다. 이는 GTD 알고리즘이 다양한 단계 크기 스케줄을 통해 수렴함을 보이며, 경험 재생이 수렴 속도 향상에 기여하는 혼합 성질을 향상시킴으로써 그 효과성을 설명한다.

ABSTRACT

In reinforcement learning (RL), one of the key components is policy evaluation, which aims to estimate the value function (i.e., expected long-term accumulated reward) of a policy. With a good policy evaluation method, the RL algorithms will estimate the value function more accurately and find a better policy. When the state space is large or continuous \emph{Gradient-based Temporal Difference(GTD)} policy evaluation algorithms with linear function approximation are widely used. Considering that the collection of the evaluation data is both time and reward consuming, a clear understanding of the finite sample performance of the policy evaluation algorithms is very important to reinforcement learning. Under the assumption that data are i.i.d. generated, previous work provided the finite sample analysis of the GTD algorithms with constant step size by converting them into convex-concave saddle point problems. However, it is well-known that, the data are generated from Markov processes rather than i.i.d in RL problems.. In this paper, in the realistic Markov setting, we derive the finite sample bounds for the general convex-concave saddle point problems, and hence for the GTD algorithms. We have the following discussions based on our bounds. (1) With variants of step size, GTD algorithms converge. (2) The convergence rate is determined by the step size, with the mixing time of the Markov process as the coefficient. The faster the Markov processes mix, the faster the convergence. (3) We explain that the experience replay trick is effective by improving the mixing property of the Markov process. To the best of our knowledge, our analysis is the first to provide finite sample bounds for the GTD algorithms in Markov setting.

연구 동기 및 목표

• 현실적인 마르코프 과정 데이터 생성 가정 하에 GTD 알고리즘에 대한 유한 표본 분석의 부족을 해결하기 위해.
• 마르코프 설정에서 일반적인 볼록-볼록형 안장점 문제에 대한 유한 표본 경계를 유도하기 위해.
• 단계 크기와 혼합 시간이 GTD 알고리즘 수렴에 미치는 영향을 이해하기 위해.
• 경험 재생이 혼합 성질을 향상시켜 수렴을 향상시키는 이유를 설명하기 위해.
• 비 i.i.d. 데이터를 가진 실용적인 강화 학습 설정에서 GTD 알고리즘에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 저자들은 마르코프 데이터 하에서 GTD 알고리즘을 볼록-볼록형 안장점 문제로 모델링한다.
• 농도 불등식과 혼합 시간 분석을 사용하여 안장점 문제에 대한 유한 표본 경계를 도출한다.
• 기본 마르코프 과정의 혼합 시간을 수렴 속도의 핵심 계수로 통합한다.
• 다양한 조건 하에서 수렴을 확립하기 위해 단계 크기 스케줄을 분석한다.
• 경험 재생의 효과는 마르코프 과정의 혼합 성질을 향상시키는 능력을 통해 설명된다.
• 확률적 근사 이론과 마르코프 체인 이론의 도구를 사용하여 이론적 결과를 도출한다.

실험 결과

연구 질문

• RQ1 마르코프 데이터 생성 조건 하에서 GTD 알고리즘의 유한 표본 수렴 경계는 어떻게 행동하는가?
• RQ2 마르코프 과정의 혼합 시간이 GTD 알고리즘의 수렴 속도에 미치는 역할은 무엇인가?
• RQ3 마르코프 설정에서 단계 크기의 선택은 GTD 알고리즘 수렴에 어떻게 영향을 미치는가?
• RQ4 왜 경험 재생은 GTD 알고리즘 성능 향상에 효과적인가?
• RQ5 데이터가 i.i.d.가 아닐 경우 GTD 알고리즘에 대해 유한 표본 경계를 엄밀히 유도할 수 있는가?

주요 결과

• GTD 알고리즘은 마르코프 설정에서 다양한 단계 크기 스케줄 하에서도 수렴하며, 이는 이전의 i.i.d. 결과를 확장한 것이다.
• GTD 알고리즘의 수렴 속도는 기저 마르코프 과정의 혼합 시간에 비례한다.
• 더 빠르게 혼합하는 마르코프 과정은 GTD 알고리즘의 수렴 속도를 높인다.
• 경험 재생은 데이터 생성 마르코프 체인의 혼합 성질을 향상시켜 수렴을 향상시킨다.
• 이 작업은 마르코프 설정에서 GTD 알고리즘에 대한 최초의 유한 표본 분석을 제공하며, 중요한 이론적 격차를 메운다.
• 이론적 경계는 GTD를 볼록-볼록형 안장점 문제로 변환하고 마르코프 샘플링 하에서의 유한 시간 행동을 분석함으로써 도출된다.