[논문 리뷰] Convergence Rates of Accelerated Markov Gradient Descent with Applications in Reinforcement Learning

Thinh T. Doan, Lam M. Nguyen외 2명|arXiv (Cornell University)|2020. 02. 07.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 13

한 줄 요약

이 논문은 i.i.d. 표본 대신 마르코프 과정에서 샘플링된 기울기를 사용하는 가속화된 확률적 기울기 하강법의 변종인 가속화된 마르코프 기울기 하강법(AMGD)을 소개한다. 비편향이거나 상관 없는 기울기임에도 불구하고, AMGD는 i.i.d. 경우와 비슷한 수렴 속도를 달성하며, 이 요소는 마르코프 체인의 혼합 시간과 관련이 있으며, 강화 학습 벤치마크에서 뛰어난 샘플 효율성 향상을 보인다.

ABSTRACT

Motivated by broad applications in machine learning, we study the popular accelerated stochastic gradient descent (ASGD) algorithm for solving (possibly nonconvex) optimization problems. We characterize the finite-time performance of this method when the gradients are sampled from Markov processes, and hence biased and dependent from time step to time step; in contrast, the analysis in existing work relies heavily on the stochastic gradients being independent and sometimes unbiased. Our main contributions show that under certain (standard) assumptions on the underlying Markov chain generating the gradients, ASGD converges at the nearly the same rate with Markovian gradient samples as with independent gradient samples. The only difference is a logarithmic factor that accounts for the mixing time of the Markov chain. One of the key motivations for this study are complicated control problems that can be modeled by a Markov decision process and solved using reinforcement learning. We apply the accelerated method to several challenging problems in the OpenAI Gym and Mujoco, and show that acceleration can significantly improve the performance of the classic temporal difference learning and REINFORCE algorithms.

연구 동기 및 목표

• 기울기가 마르코프 과정에서 유래할 경우 발생하는 편향과 시간적 의존성으로 인해 가속화된 확률적 기울기 하강법의 이론적 격차를 메우기 위해.
• 기본 마르코프 체인에 대한 표준 가정 하에 가속화된 마르코프 기울기 하강법(AMGD)의 수렴 속도를 확립하기 위해.
• 기울기가 궤적 샘플링으로 인해 자연스럽게 마르코프적일 수 있는 강화 학습 환경에서 가속화가 여전히 효과적인지 확인하기 위해.
• 표준 시간 차분 학습과 REINFORCE보다 훨씬 적은 샘플을 요구함으로써 이론적 경계와 일치하는 샘플 효율성 향상을 보여주기 위해.

제안 방법

• 기본 분포 π를 갖는 정적 마르코프 체인에서 샘플링된 기울기를 사용하는 Nesterov의 가속 기울기 방법의 변종인 AMGD를 제안한다.
• 세 가지 함수 클래스인 볼록이고 미세한, 강하게 볼록한, 비볼록이고 미세한 함수에 대해 표준 마르코프 체인 가정 하에 수렴 분석을 수행한다.
• 혼합 시간에 의존하는 로그 요소를 수렴 경계에 포함시켜 마르코프적 의존성의 영향을 정량화한다.
• 혼합 시간과 스텝 크기 시퀀스에 따라 기대값의 최적성 간격 f(x̄_k) - f(x*)를 제한하기 위해 리아푸노프 함수 접근법과 재귀 부등식을 사용한다.
• 시간에 따라 변하는 스텝 크기 γ_k = 2/(μ(k+1))와 모멘터럼 파rameter α_k = 2k를 사용하며, 이는 Nesterov 방법의 재귀 관계를 만족한다.
• 혼합 시간 τ(γ_k)와 체인의 혼합 성질을 포함하는 항으로 기울기 편향과 의존성을 분해하여 기대 오차에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기울기가 i.i.d. 표본 대신 마르코프 과정에서 샘플링될 경우, 가속화된 확률적 기울기 하강법이 근사적으로 최적의 수렴 속도를 유지할 수 있는가?
• RQ2 마르코프 체인의 혼합 시간이 비볼록이고 미세한 최적화에서 가속화 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 시간 차분 학습과 REINFORCE와 같은 강화 학습 알고리즘에서 가속화가 샘플 효율성에 얼마나 기여하는가?
• RQ4 마르코프 결정 과정에서 의존적이고 편향된 기울기 샘플링에 대해 가속화 방법의 이론적 수렴 보장은 어떻게 확장될 수 있는가?

주요 결과

• 비볼록이고 미세한 목표 함수에 대해 AMGD는 O(log(k)/k)의 수렴 속도를 달성하며, 마르코프 체인의 혼합 시간과 관련된 로그 요소를 제외하고는 i.i.d. 경우와 동일하다.
• 강하게 볼록한 함수에 대해서는 기대값의 최적성 간격 f(x̄_k) - f(x*)가 O(1/k²) 이하로 제한되며, 이 로그 요소는 혼합 시간에서 기인하며, 알려진 i.i.d. 수렴 속도와 일치한다.
• OpenAI Gym 및 MuJoCo 환경에서의 실험 결과, TD 학습과 REINFORCE의 AMGD 변종은 유사한 정책 성능을 달성하기 위해 훨씬 적은 샘플을 요구하였다.
• 이론적 경계에는 log(μ(k+1)/2)에 비례하는 항이 포함되어 있으며, 이는 마르코프 샘플링의 영향을 반영하며, 빠른 수렴을 통해 경험적으로 검증되었다.
• 분석 결과, 마르코프 기울기의 편향과 의존성은 수렴 속도를 로그 요소를 초과해 떨어뜨리지 않음을 보여주었다.
• 경험적 결과는 가속화가 실질적으로 매우 효과적임을 확인하였으며, 기준 방법 대비 최대 50% 적은 샘플로 더 높은 보상을 얻는 정책을 학습하는 데 성공하였다.