[논문 리뷰] Finite-Time Error Bounds For Linear Stochastic Approximation and TD Learning

R. Srikant, Lei Ying|arXiv (Cornell University)|2019. 02. 03.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 42

한 줄 요약

이 논문은 마르코프 노이즈를 가진 선형 확률적 근사에 대한 유한시간 평균제곱오차(bound) 를 도출하고 이를 TD 학습에 적용하며, Lyapunov(스틴) 방법을 사용하여 오차 다이내믹스를 정량화합니다.

ABSTRACT

We consider the dynamics of a linear stochastic approximation algorithm driven by Markovian noise, and derive finite-time bounds on the moments of the error, i.e., deviation of the output of the algorithm from the equilibrium point of an associated ordinary differential equation (ODE). We obtain finite-time bounds on the mean-square error in the case of constant step-size algorithms by considering the drift of an appropriately chosen Lyapunov function. The Lyapunov function can be interpreted either in terms of Stein's method to obtain bounds on steady-state performance or in terms of Lyapunov stability theory for linear ODEs. We also provide a comprehensive treatment of the moments of the square of the 2-norm of the approximation error. Our analysis yields the following results: (i) for a given step-size, we show that the lower-order moments can be made small as a function of the step-size and can be upper-bounded by the moments of a Gaussian random variable; (ii) we show that the higher-order moments beyond a threshold may be infinite in steady-state; and (iii) we characterize the number of samples needed for the finite-time bounds to be of the same order as the steady-state bounds. As a by-product of our analysis, we also solve the open problem of obtaining finite-time bounds for the performance of temporal difference learning algorithms with linear function approximation and a constant step-size, without requiring a projection step or an i.i.d. noise assumption.

연구 동기 및 목표

• 선형 확률적 근사 및 i.i.d. 노이즈나 투영(프로젝션) 단계 없이 TD 학습에서 유한시간 오차 경계의 필요성을 동기화한다.
• 상수 학습률 알고리즘에 대한 드리프트 분석과 Lyapunov 함수를 사용하여 유한시간 평균제곱오차 bound를 도출한다.
• 오차의 모멘트를 특성화하며, 저차모멘트는 가우시안 모멘트에 의해 하한/상한이 제시될 수 있고 정류상태에서 고차 모멘트의 존재 여부가 다를 수 있음을 보인다.
• 선형 함수 근사 및 마르코프 노이즈가 있는 TD(0) 및 TD(λ)에 대한 시사점을 설명한다.

제안 방법

• Recursion Theta_{k+1} = Theta_k + ε (A(X_k) Theta_k + b(X_k))를 마르코프 노이즈와 수렴하는 한계를 가진 것으로 모델링하고 E[A(X_k)] → Ã 및 E[b(X_k)] → 0로 수렴함을 나타낸다.
• Lyapunov(Stein) 드리프트 분석을 사용하여 평균제곱오차를 상한하고 관련되는 미분방정식(OODE) 동역학과 연계한다.
• 드리프트 프레임워크를 확장하여 오차의 모든 모멘트를 분석하고 정류상태에서 모멘트가 유한한지 무한한지를 식별한다.
• 유한시간 경계와 정류상태 성능 간의 연관성을 밝히고 주문에 맞춘 샘플 요구사항을 결정한다.
• TD 학습 알고리즘에 결과를 적용하여 투영이나 i.i.d. 노이즈 가정 없이 유한시간 경계를 보인다.
• 학습률이 0으로 갈 때 중심극한정리에 대한 관계를 논의한다.

실험 결과

연구 질문

• RQ1 마르코프 노이즈 하에서 선형 확률적 근사 알고리즘의 오차에 대해 어떤 유한시간 경계가 수립될 수 있는가?
• RQ2 Lyapunov/Stein 기반의 드리프트 분석은 평균제곱오차 및 상위 모멘트에 어떤 경계를 제공하는가?
• RQ3 프로젝션 없이 상수 학습률과 선형 함수 근사를 사용하는 TD에 이 경계가 특수화될 수 있는가?
• RQ4 정류상태에서 오차의 저차 및 고차 모멘트의 동작은 어떠한가?
• RQ5 정류상태 경계와 차원에 따라 유한시간 경계가 정류상태 차수와 맞아떨어지려면 필요한 샘플 수는 얼마나 되는가?

주요 결과

• 주어진 상수 학습률에 대해 저차 모멘트의 오차는 작게 만들 수 있으며 가우시안 모멘트로 비례하게 한정될 수 있다.
• 정도 임계값을 넘는 고차 모멘트는 정류상태에서 무한할 수 있어 꼬리 분포가 지수적으로 감소하지 않을 수 있음을 시사한다.
• 유한시간 평균제곱오차 경계를 도출하고 정류상태 경계와 일치하도록 샘플 복잡도를 특징화한다.
• 투영이나 i.i.d. 노이즈 가정 없이 선형 함수 근사와 상수 학습률을 갖는 TD 학습에 대한 유한시간 경계를 얻는 해법을 제공한다.
• Lyapunov 드리프트 분석과 Stein 방법의 연결을 통해 정류상태 성능을 이해하고 ODE 안정성과의 관계를 밝힌다.