[논문 리뷰] A Lyapunov Theory for Finite-Sample Guarantees of Asynchronous Q-Learning and TD-Learning Variants

Zaiwei Chen, Siva Theja Maguluri외 2명|arXiv (Cornell University)|2021. 02. 02.

Reinforcement Learning in Robotics참고 문헌 54인용 수 17

한 줄 요약

이 논문은 Q-학습, n단계 TD, TD(λ), V-trace를 포함한 이방향가치기반강화학습알고리즘에 대해 유한표본 평균제곱수렴보장을 수립하기 위해 통합된 라플라스기반 프레임워크를 개발한다. 이러한 알고리즘들을 마코프성 랜덤근사과정으로 모델링함으로써, 저자들은 명시적인 수렴속도와 표본복잡도 한계를 도출하며, 부트스트래핑 효율성에서 오랫동안 남아있던 편향-분산 트레이드오프 문제를 해결한다.

ABSTRACT

This paper develops an unified framework to study finite-sample convergence guarantees of a large class of value-based asynchronous reinforcement learning (RL) algorithms. We do this by first reformulating the RL algorithms as extit{Markovian Stochastic Approximation} (SA) algorithms to solve fixed-point equations. We then develop a Lyapunov analysis and derive mean-square error bounds on the convergence of the Markovian SA. Based on this result, we establish finite-sample mean-square convergence bounds for asynchronous RL algorithms such as $Q$-learning, $n$-step TD, TD$(λ)$, and off-policy TD algorithms including V-trace. As a by-product, by analyzing the convergence bounds of $n$-step TD and TD$(λ)$, we provide theoretical insights into the bias-variance trade-off, i.e., efficiency of bootstrapping in RL. This was first posed as an open problem in (Sutton, 1999).

연구 동기 및 목표

• 이방향가치기반강화학습알고리즘에 대한 유한표본 수렴보장의 부족을 해결하기 위해.
• Q-학습, n단계 TD, TD(λ), V-trace와 같은 다양한 알고리즘을 단일 이론적 프레임워크 아래 통합 분석하기 위해.
• 부트스트래핑의 효율성에 관한 열린 문제를 정량적으로 분석함으로써 편향-분산 트레이드오프를 해결하기 위해.
• 이방향 V-trace 알고리즘에 대한 최초의 유한표본 수렴한계를 제공하기 위해.
• n단계 TD와 TD(λ)에 대한 최적의 하이퍼파ram터 선택을 드러내는 명시적인 표본복잡도 한계를 유도하기 위해.

제안 방법

• 이방향 RL 알고리즘들을 固定점 벨만방정식을 해결하는 마코프성 랜덤근사(SA) 알고리즘으로 재정의하기.
• 상수 및 점점 감소하는 스텝사이즈 하에서 SA 과정의 평균제곱오차 한계를 도출하기 위해 라플라스함수 분석을 개발하기.
• 수렴속도를 확립: 상수 스텝사이즈일 경우 기하급수적 수렴(정확도 O(α log(1/α))), 점점 감소하는 스텝사이즈일 경우 O(log(k)/k^ξ).
• SA 수렴 프레임워크를 적용하여 Q-학습, n단계 TD, TD(λ), V-trace에 대한 유한표본 한계를 도출하기.
• 라플라스 분석을 사용하여 V-trace에서의 잘라내기 수준(c̄ 및 ρ̄)이 편향과 분산에 미치는 영향을 분리하고 정량화하기.
• γ, n, λ 및 잘라내기 파라미터에 대한 의존성을 명시적으로 보여주는 표본복잡도 한계를 도출하기.

실험 결과

연구 질문

• RQ1 상수 스텝사이즈와 점점 감소하는 스텝사이즈 하에서 이방향 Q-학습의 유한표본 수렴 행동은 어떠한가?
• RQ2 V-trace에서의 잘라내기 수준 c̄는 알고리즘의 분산과 표본복잡도에 어떤 영향을 미치는가?
• RQ3 n단계 TD-학습에서 편향과 분산을 균형 잡는 데 최적의 n 값은 무엇인가?
• RQ4 TD(λ)에서 λ 파라미터는 큰 λ가 선호되는 편향과 작은 λ가 선호되는 분산 사이에서 어떻게 트레이드오프를 형성하는가?
• RQ5 통합된 라플라스 프레임워크를 사용하여 이방향 RL 알고리즘의 광범위한 클래스에 대해 유한표본 한계를 도출할 수 있는가?

주요 결과

• 상수 스텝사이즈를 사용한 이방향 Q-학습의 경우, 표본복잡도는 O(log²(1/ε)/(ε²(1−γ)⁵N_min³))이며, 이는 이전의 한계보다 적어도 |S||A|만큼 향상된다.
• V-trace 알고리즘의 표본복잡도는 O(ρ̄²(∑ᵢ₌₀ⁿ(γc̄)ⁱ)²)로 표현되며, 이는 c̄가 분산 감소의 주요 인자임을 보여주고, c̄ ≤ 1/γ를 만족하지 않으면 지수적 붕괴가 발생할 수 있음을 시사한다.
• n단계 TD의 경우, 표본복잡도는 n/(1−γⁿ)²에 의존하며, 이는 최적의 n가 약 min(1, 1/log(1/γ))임을 의미한다.
• TD(λ)에서 편향은 (1−Θ(1/(1−βλ)))ᵏ로 감소하며(큰 λ를 선호함), 분산은 Θ(1/[(1−βλ)log(1/(βλ))])로 증가함(작은 λ를 선호함)으로써 트레이드오프를 정량화한다.
• 라플라스 분석은 상수 스텝사이즈일 경우 기하급수적 수렴과 점점 감소하는 스텝사이즈일 경우 다항식 감쇠를 도출하며, 알고리즘 파라미터에 대한 명시적인 의존성을 보여준다.
• 이 프레임워크는 이방향 V-trace에 대한 최초의 유한표본 수렴한계를 제공하여, 오프-폴리시 강화학습 이론에서 핵심적인 격차를 해소한다.