[논문 리뷰] Finite-Sample Analysis for SARSA and Q-Learning with Linear Function Approximation

Shaofeng Zou, Tengyu Xu외 1명|arXiv (Cornell University)|2019. 02. 06.

Reinforcement Learning in Robotics참고 문헌 23인용 수 10

한 줄 요약

이 논문은 연속 상태 공간에서 선형 함수 근사와 함께 SARSA와 Q-학습에 대한 최초의 유한 샘플 분석을 제시하며, 비.i.i.d. 데이터와 동적으로 변화하는 정책 하에서 수렴 속도를 확립한다. 비선형 함수 근사가 최근접 이웃 방법보다 샘플 복잡도의 순서 수준에서 더 낮은 복잡도를 달성함을 보여주는 새로운 기울기 편향 경계 기법을 도입한다.

ABSTRACT

Though the convergence of major reinforcement learning algorithms has been extensively studied, the finite-sample analysis to further characterize the convergence rate in terms of the sample complexity for problems with continuous state space is still very limited. Such a type of analysis is especially challenging for algorithms with dynamically changing learning policies and under non-i.i.d. sampled data. In this paper, we present the first finite-sample analysis for the SARSA algorithm and its minimax variant (for zero-sum Markov games), with a single sample path and linear function approximation. To establish our results, we develop a novel technique to bound the gradient bias for dynamically changing learning policies, which can be of independent interest. We further provide finite-sample bounds for Q-learning and its minimax variant. Comparison of our result with the existing finite-sample bound indicates that linear function approximation achieves order-level lower sample complexity than the nearest neighbor approach.

연구 동기 및 목표

• 연속 상태 공간에서 선형 함수 근사와 함께 SARSA 및 Q-학습에 대한 유한 샘플 분석의 부족을 해결하기 위해.
• 비.i.i.d.로 샘플링된 데이터와 동적으로 변화하는 학습 정책 하에서 수렴 속도 경계를 확립하기 위해.
• 정책 역학이 존재하는 강화 학습에서 기울기 편향을 경계하기 위한 새로운 기법을 개발하기 위해.
• 선형 함수 근사와 최근접 이웃 접근법 간의 샘플 복잡도를 비교하기 위해.

제안 방법

• 강화 학습에서 동적으로 변화하는 학습 정책에 기인하는 기울기 편향을 경계하기 위한 새로운 기법을 개발한다.
• 이 기법을 적용하여 0-합 마르코프 게임에서 SARSA 및 그 최소-최대 변형에 대한 유한 샘플 수렴 경계를 유도한다.
• 동일한 가정 하에서 Q-학습 및 그 최소-최대 동반자에 대한 분석을 확장한다.
• 연속 상태 공간에서 순차적이고 비.i.i.d. 데이터를 모델링하기 위해 단일 샘플 경로 프레임워크를 사용한다.
• 스케일링이 가능한 연속 도메인에서 가치 함수를 표현하기 위해 선형 함수 근사를 활용한다.
• 목표 정확도를 달성하기 위해 필요한 샘플 수를 정량화하는 샘플 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 비.i.i.d. 데이터 하에서 선형 함수 근사와 함께 SARSA의 유한 샘플 수렴 속도는 무엇인가?
• RQ2 학습 정책이 동적으로 변화할 때 강화 학습에서 기울기 편향을 어떻게 경계할 수 있는가?
• RQ3 선형 함수 근사가 최근접 이웃 방법에 비해 어떤 샘플 복잡도를 달성하는가?
• RQ4 선형 함수 근사와 함께 Q-학습 및 그 최소-최대 변형에 대해 유한 샘플 경계를 확립할 수 있는가?
• RQ5 기존 결과와 비교할 때 샘플 복잡도 순서 수준에서 이론적 경계는 어떻게 다른가?

주요 결과

• 논문은 비.i.i.d. 데이터 하에서 연속 상태 공간에서 선형 함수 근사와 함께 SARSA에 대한 최초의 유한 샘플 수렴 경계를 확립한다.
• 특정 알고리즘에 국한되지 않고 응용 가능한 새로운 기울기 편향 경계 기법이 개발되었으며, 독립적인 관심사가 될 수 있다.
• Q-학습 및 그 최소-최대 변형에 대해서도 유한 샘플 경계가 도출되었으며, 분석 범위가 더 넓은 설정으로 확장되었다.
• 이론적 분석 결과, 선형 함수 근사는 최근접 이웃 접근법보다 순서 수준에서 더 낮은 샘플 복잡도를 달성함을 보여준다.
• 결과는 학습 효율성의 정량적 특성화를 제공하며, 연속 제어 작업에서 선형 함수 근사의 사용을 뒷받침한다.