[논문 리뷰] Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise

Yue Wang, Shaofeng Zou|arXiv (Cornell University)|2020. 05. 20.

Reinforcement Learning in Robotics참고 문헌 25인용 수 9

한 줄 요약

이 논문은 마르코프 노이즈 하에서 선형 함수 근사와 함께 Greedy-GQ 알고리즘의 최초의 유한 샘플 분석을 제시하며, 최적 제어 문제를 비볼록 최적화 문제로 재구성한다. 수렴 속도 및 샘플 복잡도에 대한 명시적인 경계를 확립하여, 오프-폴리시 강화학습에서 학습률 선택과 수렴 속도 및 정책 품질 간의 상충 관계에 실용적인 지침을 제공한다.

ABSTRACT

Greedy-GQ is an off-policy two timescale algorithm for optimal control in reinforcement learning. This paper develops the first finite-sample analysis for the Greedy-GQ algorithm with linear function approximation under Markovian noise. Our finite-sample analysis provides theoretical justification for choosing stepsizes for this two timescale algorithm for faster convergence in practice, and suggests a trade-off between the convergence rate and the quality of the obtained policy. Our paper extends the finite-sample analyses of two timescale reinforcement learning algorithms from policy evaluation to optimal control, which is of more practical interest. Specifically, in contrast to existing finite-sample analyses for two timescale methods, e.g., GTD, GTD2 and TDC, where their objective functions are convex, the objective function of the Greedy-GQ algorithm is non-convex. Moreover, the Greedy-GQ algorithm is also not a linear two-timescale stochastic approximation algorithm. Our techniques in this paper provide a general framework for finite-sample analysis of non-convex value-based reinforcement learning algorithms for optimal control.

연구 동기 및 목표

• Greedy-GQ에 대한 유한 샘플 분석의 부족을 해결하기 위해, 선형 함수 근사와 함께 최적 제어를 위한 이중 시간 척도 오프-폴리시 알고리즘을 대상으로 한다.
• 기존의 마르코프 차이의 마르팅게일 노이즈 가정을 위반하는 마르코프 노이즈 하에서의 수렴을 분석한다.
• 특히 최적 제어를 위한 비볼록가치 기반 강화학습 알고리즘에 대한 유한 샘플 분석를 위한 새로운 방법론을 개발한다.
• 이중 시간 척도 업데이트에서 마르코프 노이즈에 의해 유도되는 확률적 편향을 특성화하고 그 전파를 경계한다.
• 수렴 속도와 정책 품질 간의 상충 관계를 극복하기 위한 명시적인 샘플 복잡도 경계 및 실용적인 학습률 선택 규칙을 제공한다.

제안 방법

• 행동가치 함수에 의존하는 성격으로 인해 본질적으로 비볼록인 평균 제곱 투영 벨만 오차(MSPBE)를 최소화하는 비볼록 최적화 문제로 Greedy-GQ를 재구성한다.
• 이중 시간 척도 업데이트에서 목표 정책 추적의 확률적 오차 전파를 분석하기 위해 재귀적 편향 경계 기법을 도입한다.
• 마르팅게일 노이즈 가정에 의존하지 않는 새로운 분석 프레임워크를 개발하여, 단일 궤적에서 유도된 비.i.i.d. 데이터에의 적용 가능성을 확보한다.
• 소프트맥스 정책의 리프시츠 및 미분 가능성 성질을 활용하여 기울기 변동을 제어하고 수렴 경계를 도출한다.
• 수렴이 정류점으로 수렴함을 나타내는 기울기 노름의 수렴을 분석하기 위해 랜덤화된 확률적 기울기 방법 프레임워크를 활용한다.
• 학습률 및 특징 차원과 같은 알고리즘 파라미터와 연관된 기대 제곱 기울기 노름에 대한 명시적인 유한 샘플 경계를 유도한다.

실험 결과

연구 질문

• RQ1 마르코프 노이즈 하에서 선형 함수 근사와 함께 Greedy-GQ의 유한 샘플 수렴 속도는 무엇인가?
• RQ2 Greedy-GQ의 이중 시간 척도 업데이트에서 비.i.i.d. 데이터에 기인한 확률적 편향은 어떻게 전파되는가?
• RQ3 비볼록 최적화 프레임워크는 두 시간 척도 강화학습 알고리즘의 최적 제어 분석에 효과적으로 적용될 수 있는가?
• RQ4 Greedy-GQ에서 수렴 속도와 정책 품질 간의 상충 관계는 무엇이며, 이를 균형 잡기 위해 학습률는 어떻게 선택할 수 있는가?
• RQ5 마르팅게일 노이즈 가정에 의존하지 않고 비.i.i.d. 환경으로의 분석을 어떻게 확장할 수 있는가?

주요 결과

• 논문은 일정 학습률 하에서 Greedy-GQ가 비볼록 MSPBE 목표 함수의 정류점으로 수렴함을 입증하며, 기대 제곱 기울기 노름이 t 반복에 대해 O(1/t)의 속도로 감소함을 보였다.
• 특징 차원, 정책의 부드러움, 마르코프 체인의 혼합 성질에 따라 의존하는 명시적인 유한 샘플 경계가 도출되었다.
• 수렴 속도는 학습률의 선택에 민감하며, 더 큰 학습률는 수렴 속도를 가속화하지만 정책 품질을 저하시킬 수 있음을 입증하였다.
• 분석은 수렴 속도와 최종 정책 품질 간의 근본적인 상충 관계를 드러내며, 하이퍼파rameter 튜닝을 위한 이론적 근거를 제공한다.
• 제안된 재귀적 편향 경계 기법은 비.i.i.d. 마르코프 노이즈 조건 하에서도 두 시간 척도 업데이트의 오차 전파를 효과적으로 제어하였다.
• 소프트맥스 정책가 2σ-리프시츠이자 8σ²-부드럽다는 것이 증명되었으며, 이는 수렴 분석에 필요한 기울기 변동에 대한 균일한 경계 유도에 기여하였다.