[논문 리뷰] Finite-Sample Analysis of Contractive Stochastic Approximation Using Smooth Convex Envelopes

Zaiwei Chen, Siva Theja Maguluri외 2명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 일반화된 모레우 포화를 통한 매끄러운 볼록 포화를 이용한 수축성 확률적 근사의 유한 샘플 분석을 제시하며, 리아프노프 함수에서 음의 드리프트를 가능하게 하고 상태 공간 크기와의 로그적 의존성만을 갖는 수렴 경계를 도출한다. 이 방법은 오프-폴리시 TD-학습에서 V-trace 알고리즘에 대해 알려진 바 없는 첫 번째 수렴 속도를 확립한다.

ABSTRACT

Stochastic Approximation (SA) is a popular approach for solving fixed-point equations where the information is corrupted by noise. In this paper, we consider an SA involving a contraction mapping with respect to an arbitrary norm, and show its finite-sample error bounds while using different stepsizes. The idea is to construct a smooth Lyapunov function using the generalized Moreau envelope, and show that the iterates of SA have negative drift with respect to that Lyapunov function. Our result is applicable in Reinforcement Learning (RL). In particular, we use it to establish the first-known convergence rate of the V-trace algorithm for off-policy TD-learning. Importantly, our construction results in only a logarithmic dependence of the convergence bound on the size of the state-space.

연구 동기 및 목표

• 노이즈가 있는 관측에서 수축 사상에 대한 유한 샘플 오차 경계를 개발하기 위해.
• 특히 V-trace와 같은 알고리즘을 위한 오프-폴리시 방법에서 수렴 속도 분석의 과제를 해결하기 위해.
• 기존 분석에서 일반적으로 다항식 또는 그 이상의 의존성을 보였던 상태 공간 크기와의 의존성을 줄이기 위해.
• 수축 사상과 관련된 잠재 함수의 일반화된 모레우 포화를 사용하여 매끄러운 리아프노프 함수를 구축함으로써 확률적 반복의 드리프트 분석을 가능하게 하기 위해.
• 오프-폴리시 시간 차분 학습에서 V-trace 알고리즘에 대해 알려진 바 없는 첫 번째 수렴 속도를 확립하기 위해.

제안 방법

• 수축 사상과 관련된 잠재 함수의 일반화된 모레우 포화를 사용하여 매끄러운 리아프노프 함수를 구축하기 위해.
• 모레우 포화의 매끄러움과 볼록성 성질을 활용하여 확률적 근사 반복의 음의 드리프트를 유도하기 위해.
• 반복 과정에서 리아프노프 함수의 기대 감소를 경계함으로써 유한 샘플 오차를 분석하기 위해.
• 일반 노름 하에서 V-trace 업데이트를 수축성 확률적 근사로 모델링함으로써 오프-폴리시 TD-학습에 프레임워크를 적용하기 위해.
• 기존의 다항식 의존성 대신 상태 공간 크기와의 로그적 의존성을 갖는 수렴 경계를 유도하기 위해.
• 수축 사상의 구조와 노이즈 가정을 활용하여 다양한 스텝 사이즈 하에서도 안정성과 수렴성을 보장하기 위해.

실험 결과

연구 질문

• RQ1 매끄러운 볼록 포화를 사용한 수축성 확률적 근사의 유한 샘플 분석가능한가?
• RQ2 임의의 노름 하에서 스텝 사이즈의 선택은 수축성 확률적 근사의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 오프-폴리시 TD-학습 알고리즘에서 수렴 경계는 상태 공간 크기와 어떻게 의존하는가?
• RQ4 일반화된 모레우 포화를 사용하여 확률적 반복에서 음의 드리프트를 보장하는 리아프노프 함수를 구축할 수 있는가?
• RQ5 오프-폴리시 시간 차분 학습에서 V-trace 알고리즘에 대해 알려진 바 없는 첫 번째 수렴 속도는 무엇인가?

주요 결과

• 제안된 방법은 임의의 노름 하에서 수축성 확률적 근사에 대해 유한 샘플 오차 경계를 달성한다.
• 일반화된 모레우 포화의 사용은 음의 드리프트를 보장하는 매끄러운 리아프노프 함수를 구축할 수 있게 하여 안정성과 수렴성을 보장한다.
• 수렴 경계는 상태 공간 크기와의 로그적 의존성만을 보이며, 이는 이전 연구에서 일반적으로 관찰된 다항식 의존성 대비 크게 향상된 결과이다.
• 프레임워크는 오프-폴리시 TD-학습에서 V-trace 알고리즘에 대해 알려진 바 없는 첫 번째 수렴 속도를 도출하는 데 적용되었다.
• 일반적인 스텝 사이즈 하에서도 적용 가능하며, 수축 사상이 있는 광범위한 확률적 근사 문제에 적용 가능하다.
• 결과는 매끄러운 볼록 포화가 강화 학습에서 노이즈가 있는 반복 알고리즘의 유한 샘플 분석에 있어 핵심적인 도구가 될 수 있음을 보여준다.