[논문 리뷰] Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes

Zaiwei Chen, Siva Theja Maguluri외 2명|arXiv (Cornell University)|2020. 02. 03.

Advanced Bandit Algorithms Research참고 문헌 45인용 수 13

한 줄 요약

이 논문은 일반화된 모레우 포화를 기반으로 한 부드러운 리아푸노프 함수를 사용하여 임의의 수축 노름과 약선형 조건부 2차 모멘트를 갖는 노이즈 하에서 확률적 근사(SA)의 유한 샘플 수렴 경계를 수립한다. 이는 상태공간 크기와의 로그적 의존성을 달성하고, 비정책 TD-학습에서 V-trace 알고리즘에 대한 첫 번째 수렴 속도를 제공하며, 정책 기반 Q-학습에 대해 최신 기술 수준의 결과를 회복한다.

ABSTRACT

Stochastic Approximation (SA) is a popular approach for solving fixed-point equations where the information is corrupted by noise. In this paper, we consider an SA involving a contraction mapping with respect to an arbitrary norm, and show its finite-sample error bounds while using different stepsizes. The idea is to construct a smooth Lyapunov function using the generalized Moreau envelope, and show that the iterates of SA have negative drift with respect to that Lyapunov function. Our result is applicable in Reinforcement Learning (RL). In particular, we use it to establish the first-known convergence rate of the V-trace algorithm for off-policy TD-learning. Moreover, we also use it to study TD-learning in the on-policy setting, and recover the existing state-of-the-art results for $Q$-learning. Importantly, our construction results in only a logarithmic dependence of the convergence bound on the size of the state-space.

연구 동기 및 목표

• 수축 연산자가 임의의 노름 하에서 작용하고 노이즈의 조건부 2차 모멘트가 약선형일 때 확률적 근사(SA)에 대한 유한 샘플 수렴 보장을 제공하는 것.
• 노이즈가 유계가 아니고 수축이 유클리드 노름 외의 노름(예: ℓ∞)에서 발생하는 강화학습 설정에서 수렴 경계가 부족한 문제를 다루는 것.
• 비정책 시간 차분 학습에서 V-trace 알고리즘에 대해 알려진 바 없는 첫 번째 수렴 속도를 수립하는 것.
• 통일된 프레임워크를 통해 정책 기반 Q-학습에 대해 최신 기술 수준의 수렴 속도를 회복하는 것.
• 차원 의존성이 상태공간 크기의 로그 함수 비례로 스케일링되어, 이전 연구에서의 다항식 또는 제곱 의존성보다 향상된 것.

제안 방법

• 일반화된 모레우 포화를 기반으로 한 부드러운 리아푸노프 함수를 구성하여 SA 반복의 드리프트를 분석하는 것.
• 부드러운 볼록 포화를 사용해 SA 업데이트 규칙 하에서 음의 드리프트를 보장하는 리아푸노프 함수를 정의하는 것.
• 리아푸노프 함수의 조건부 기대값을 분석하여 유한 샘플 오차 경계를 유도하는 것.
• 현재 반복의 제곱 노름에 비례하는 약선형으로 스케일링되는 조건부 2차 모멘트를 가정하여 무한대 노이즈를 다루는 것.
• 이 프레임워크를 비정책(V-trace) 및 정책 기반(Q-학습) 강화학습 설정에 모두 적용하는 것.
• 상수 단계 크기와 감소하는 단계 크기의 두 경우에 대해 수렴 속도를 유도하며, 상태공간 차원에 대한 명시적 의존성을 포함하는 것.

실험 결과

연구 질문

• RQ1 수축 노름이 임의일 때 및 노이즈의 2차 모멘트가 약선형 스케일링을 보일 때, 유한 샘플 수렴 경계를 수립할 수 있는가?
• RQ2 제안된 리아푸노프 함수 구성이 상태공간 크기와의 로그적 의존성으로 더 날카로운 경계를 도출하는가?
• RQ3 이 프레임워크를 사용해 비정책 TD-학습에서 V-trace 알고리즘에 대한 첫 번째 수렴 속도를 유도할 수 있는가?
• RQ4 이 방법이 동일한 이론적 프레임워크 하에서 기존의 최신 기술 수준의 정책 기반 Q-학습 결과를 회복하는가?
• RQ5 이 일반 설정 하에서 단계 크기 선택(상수 vs. 감소)이 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 논문은 비정책 TD-학습에서 V-trace 알고리즘에 대해 유한 샘플 수렴 속도를 처음으로 수립하였으며, 감소하는 단계 크기 하에서 수렴 속도는 O(1/k)이다.
• 수렴 경계는 상태공간 크기 d에 대해 오직 로그적 의존성만을 보이며, 특히 수축 노름이 ℓ∞일 경우 log(d)로 표현된다.
• 정책 기반 Q-학습의 경우, 적절한 단계 크기 선택 하에서 최신 기술 수준의 O(1/k) 수렴 속도를 회복한다.
• 상수 단계 크기 하에서 기하 수렴을 달성하며, 수축 노름이 ℓ∞일 경우 수렴 경계는 d에 대해 로그적으로 의존한다.
• 일반화된 모레우 포화를 통해 무한대 노이즈와 약선형 2차 모멘트를 갖는 상황에서도 음의 드리프트를 보장하는 부드러운 리아푸노프 함수를 가능하게 한다.
• 이 방법은 유클리드 노름을 초월하여 ℓ∞ 또는 가중치가 있는 ℓ∞ 노름에서 수축이 발생하는 더 넓은 범위의 강화학습 알고리즘에 적용 가능하다.