[논문 리뷰] Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning

Shuang Qiu, Zhuoran Yang외 3명|arXiv (Cornell University)|2020. 08. 23.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 14

한 줄 요약

이 논문은 비볼록-강력볼록 최소화 문제를 해결하여 매끄럽고 비선형적인 TD 학습을 위한 두 가지 단일 시간 척도, 단일 루프 확률적 알고리즘을 제안한다. 첫 번째 알고리즘은 운동량을 사용하여 $O(\varepsilon^{-4})$의 샘플 복잡도를 달성하고, 두 번째 알고리즘은 운동량과 분산 감소를 결합하여 큰 배치 체크포인트 없이도 최적의 $O(\varepsilon^{-3})$ 샘플 복잡도를 달성한다.

ABSTRACT

Temporal-Difference (TD) learning with nonlinear smooth function approximation for policy evaluation has achieved great success in modern reinforcement learning. It is shown that such a problem can be reformulated as a stochastic nonconvex-strongly-concave optimization problem, which is challenging as naive stochastic gradient descent-ascent algorithm suffers from slow convergence. Existing approaches for this problem are based on two-timescale or double-loop stochastic gradient algorithms, which may also require sampling large-batch data. However, in practice, a single-timescale single-loop stochastic algorithm is preferred due to its simplicity and also because its step-size is easier to tune. In this paper, we propose two single-timescale single-loop algorithms which require only one data point each step. Our first algorithm implements momentum updates on both primal and dual variables achieving an $O(\varepsilon^{-4})$ sample complexity, which shows the important role of momentum in obtaining a single-timescale algorithm. Our second algorithm improves upon the first one by applying variance reduction on top of momentum, which matches the best known $O(\varepsilon^{-3})$ sample complexity in existing works. Furthermore, our variance-reduction algorithm does not require a large-batch checkpoint. Moreover, our theoretical results for both algorithms are expressed in a tighter form of simultaneous primal and dual side convergence.

연구 동기 및 목표

• 스티어티틱 그래디언트 디센트-어셈블리 방법이 비선형 TD 학습에서 느린 수렴 문제를 해결하기 위해.
• 두 번째 시간 척도 또는 이중 루프 방법의 복잡성을 피하는 단일 시간 척도, 단일 루프 알고리즘을 개발하기 위해.
• 분산 감소를 위한 큰 배치 데이터를 요구하지 않고도 최적의 샘플 복잡도를 달성하기 위해.
• 동시적인 원천 및 이중 수렴을 측정하는 더 엄밀한 수렴 분석을 제공하기 위해.
• 단일 시간 척도 환경에서 운동량과 분산 감소의 효과를 입증하기 위해.

제안 방법

• 원천(θ) 및 이중(ω) 변수에 모두 운동량을 적용하여 업데이트를 안정화하고 수렴을 향상시키는 단일 시간 척도 알고리즘을 제안한다.
• 운동량과 확률적 그래디언트 추정을 결합하여 노이즈를 줄이고 수렴을 가속화하는 분산 감소 변형을 도입한다.
• 이론적 분석을 위해 고정된 스텝 사이즈 스케줄 ν_t = 1/[3(T+b)^{1/3}]를 사용하여 비점근 조건 하에서 수렴을 보장한다.
• 펜켈 복소성의 원리를 활용하여 일반화된 평균 제곱 프로젝션 벨먼 오차(MSPBE) 최소화 문제를 비볼록-강력볼록(NCSC) 최소화 문제로 재구성한다.
• 원천 및 이중 진전을 동시에 측정하는 더 엄밀한 메트릭을 사용하여 수렴을 분석하며, 이는 원천의 비최적성, 그래디언트 오차, 이중 비가능성의 기대 평균으로 정의된다.
• 제닝스 부등식과 재귀적 경계 기법을 적용하여 기대 비최적성 및 비가능성의 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 운동량은 비볼록-볼록 최소화 문제에서 단일 시간 척도 알고리즘에 효과적으로 활용될 수 있는가?
• RQ2 큰 배치 체크포인트 없이도 분산 감소를 단일 시간 척도, 단일 루프 프레임워크에 통합할 수 있는가?
• RQ3 매끄럽고 비선형적인 TD 학습을 위한 단일 시간 척도 알고리즘에서 달성 가능한 최적의 샘플 복잡도는 무엇인가?
• RQ4 원천과 이중 진전을 동시에 측정하는 제안된 수렴 메트릭은 기존의 원천 전용 메트릭과 비교해 어떻게 다른가?
• RQ5 단일 시간 척도 환경에서 이론적 수렴 속도를 $O(\varepsilon^{-4})$에서 $O(\varepsilon^{-3})$로 향상시킬 수 있는가?

주요 결과

• 운동량 기반 단일 시간 척도 알고리즘은 $O(\varepsilon^{-4})$ 샘플 복잡도를 달성하여 운동량이 단일 시간 척도 수렴을 가능하게 하는 데 핵심적인 역할을 함을 보여준다.
• 분산 감소 변형 알고리즘은 최적의 $O(\varepsilon^{-3})$ 샘플 복잡도를 달성하여 문헌에서 알려진 최고의 결과와 일치한다.
• 분산 감소 변형 알고리즘은 체크포인트를 위한 큰 배치 데이터가 필요하지 않아 온라인 학습에 더 실용적이다.
• 수렴 분석이 더 엄밀하여 원천 및 이중 변수의 동시에 진행 상황을 측정하여 더 종합적인 수렴 보장을 제공한다.
• 이론적 경계는 기대 평균의 원천 비최적성, 그래디언트 오차, 이중 비가능성에 대해 수렴 속도 $\widetilde{O}(T^{-1/3})$를 보여준다.
• 분석은 고정된 스텝 사이즈 스케줄이 감소하는 스케줄과 동일한 수렴 속도를 달성할 수 있음을 확인하여 하이퍼파rameter 튜닝을 단순화한다.