[논문 리뷰] Finite-Time Analysis of Q-Learning with Linear Function Approximation.

Zaiwei Chen, Sheng Zhang외 3명|arXiv (Cornell University)|2019. 05. 27.

Reinforcement Learning in Robotics참고 문헌 19인용 수 6

한 줄 요약

이 논문은 마르코프 노이즈 하에서 선형 함수 근사와 함께 Q-학습의 유한 샘플 수렴 경계를 새롭게 분석한 비선형 확률적 근사 이론을 통해 수립한다. 리아파노프 드리프트와 마르코프 체인의 빠른 혼합 성질을 활용하여, i.i.d. 샘플이나 투영 단계 없이도 안정성과 수렴성을 증명한다. 이는 알고리즘 안정성을 보장하는 행동 정책에 대한 조건을 만족할 경우에 한해 가능하다.

ABSTRACT

Motivated by applications in Reinforcement Learning (RL), in this paper, we study a nonlinear Stochastic Approximation (SA) algorithm under Markovian noise, and derive its finite-sample convergence bounds. Our proof is based on the Lyapunov drift arguments, and to handle the Markovian noise, we exploit the fast mixing of the underlying Markov chain. Our result is used to show the finite-sample bounds of the popular Q-learning with linear function approximation algorithm for solving the RL problem. Since Q-learning with linear function approximation may diverge in general, we study it under a condition on the behavior policy that ensures the stability of the algorithm. Due to the generality of our SA results, we do not need to make the unnatural assumption that the samples are i.i.d. (since they are Markovian), and do not require an additional projection step in the algorithm to maintain the boundedness of the iterates.

연구 동기 및 목표

• 마르코프 노이즈가 존재하는 강화 학습 환경에서 선형 함수 근사와 함께 Q-학습의 유한 샘플 수렴을 분석하는 것.
• 행동 정책에 대한 적절한 조건이 없을 경우 발산할 수 있는 선형 함수 근사와 함께 Q-학습의 불안정성을 다루는 것.
• i.i.d. 가정 없이 마르코프 샘플링을 다룰 수 있는 일반적인 확률적 근사 프레임워크를 개발하는 것.
• 유한한 반복 수에서 유한한 값을 유지하기 위해 투영 단계가 필요 없도록 하는 것.
• 최소한의 가정 하에서 수렴 보장을 수립하며, 이는 기저 마르코프 체인의 빠른 혼합 성질에 기반한다.

제안 방법

• 마르코프 노이즈 하에서 비선형 확률적 근사 알고리즘의 수렴을 분석하기 위해 리아파노프 드리프트 방법을 사용한다.
• 기저 마르코프 체인의 빠른 혼합 성질을 활용하여 연속적인 샘플 간의 의존도를 제어한다.
• 선형 함수 근사와 함께 Q-학습을 제안된 확률적 근사 프레임워크의 특수한 경우로 분석한다.
• 반복값이 최적 해에서 벗어나는 기대값을 제한하여 유한 샘플 경계를 유도한다.
• 알고리즘 안정성을 보장하는 행동 정책에 대한 조건을 도입한다.
• 유한한 반복 수를 유지하기 위해 투영 단계를 사용하지 않으며, 대신 행동 정책 조건이 유도하는 내재적 안정성에 의존한다.

실험 결과

연구 질문

• RQ1 마르코프 샘플링 하에서 선형 함수 근사와 함께 Q-학습이 어떤 조건에서 유한 시간 내에 수렴하는가?
• RQ2 i.i.d. 샘플이나 투영 단계 없이도 유한 샘플 수렴 경계를 확립할 수 있는가?
• RQ3 마르코프 체인의 빠른 혼합 성질이 확률적 근사에서 오차를 제어하는 데 어떤 기여를 하는가?
• RQ4 행동 정책은 선형 함수 근사와 함께 Q-학습의 안정성 확보에 어떤 역할을 하는가?
• RQ5 일반적인 확률적 근사 프레임워크는 i.i.d. 가정 없이 마르코프 노이즈 하에서 비선형 업데이트를 다룰 수 있는가?

주요 결과

• 마르코프 샘플링 하에서 선형 함수 근사와 함께 Q-학습에 대해 i.i.d. 샘플이 필요 없이도 유한 샘플 수렴 경계를 확립하였다.
• 분석 결과, 알고리즘이 안정성을 보장하는 행동 정책 조건을 만족할 경우 수렴함을 보였다. 이는 발산을 방지한다.
• 리아파노프 드리프트 방법은 샘플의 비-i.i.d. 성격에도 불구하고 오차 동역학을 성공적으로 제어한다.
• 마르코프 체인의 빠른 혼합 성질은 시간적 상관관계를 제한하고 수렴 분석을 가능하게 하는 데 핵심적인 역할을 한다.
• 유한한 반복 수를 유지하기 위해 투영 단계가 필요 없어져 알고리즘을 단순화하고 실용성을 향상시켰다.
• 결과는 일반적인 비선형 확률적 근사 알고리즘 클래스에 적용 가능하여 Q-학습을 초월해 넓게 적용 가능하다.