[논문 리뷰] Optimal Rate of Convergence for Quasi-Stochastic Approximation

Andrey Bernstein, Yue Chen외 4명|arXiv (Cornell University)|2019. 03. 18.

Reinforcement Learning in Robotics참고 문헌 29인용 수 5

한 줄 요약

이 논문은 랜덤성이 제거된 결정론적 대안인 준-스토하스틱 근사(Quasi-Stochastic Approximation, QSA)를 소개한다. QSA는 분산을 감소시키고 최적의 1/t 수렴 속도를 달성하기 위해 무작위성이 아닌 구조적 비랜덤 신호를 사용한다. 랜덤 노이즈 대신 결정론적 진동 신호를 사용함으로써, 강화학습 및 최적 제어 분야에서 더 빠른 수렴이 가능해지며, 허위츠 안정성 조건 하에서 이론적 보장과 새로운 커플링 분석을 통한 수렴 속도 분석이 가능하다.

ABSTRACT

The Robbins-Monro stochastic approximation algorithm is a foundation of many algorithmic frameworks for reinforcement learning (RL), and often an efficient approach to solving (or approximating the solution to) complex optimal control problems. However, in many cases practitioners are unable to apply these techniques because of an inherent high variance. This paper aims to provide a general foundation for "quasi-stochastic approximation," in which all of the processes under consideration are deterministic, much like quasi-Monte-Carlo for variance reduction in simulation. The variance reduction can be substantial, subject to tuning of pertinent parameters in the algorithm. This paper introduces a new coupling argument to establish optimal rate of convergence provided the gain is sufficiently large. These results are established for linear models, and tested also in non-ideal settings. A major application of these general results is a new class of RL algorithms for deterministic state space models. In this setting, the main contribution is a class of algorithms for approximating the value function for a given policy, using a different policy designed to introduce exploration.

연구 동기 및 목표

• 스토하스틱 근사의 결정론적 대안을 개발하여 근사 및 최적화 과정에서의 분산을 감소시키는 것.
• 결정론적, 진동 신호 하에서 준-스토하스틱 근사(QSA)의 최적 수렴 속도를 확립하는 것.
• 결정론적 동역학을 사용하는 Q-러닝 응용에서 관찰된 더 빠른 수렴에 대한 이론적 기초를 제공하는 것.
• 전통적인 스토하스틱 근사 이론을 무작위성이 아닌 결정론적 신호에 의해 구동되는 재귀 관계로 확장하고 엄밀한 수렴 속도 분석을 수행하는 것.

제안 방법

• 연속시간 재귀 업데이트를 사용: dθ/dt = a(t)f(θ(t), ξ(t)), 여기서 ξ(t)는 결정론적 신호(예: 주기적)이다.
• 관련된 상미분방정식(O.D.E.) dχ/dt = f(χ)를 분석하며, f(θ)는 결정론적 신호에 대한 에르고딕 평균으로 정의된다.
• QSA 궤적과 O.D.E. 해 사이의 새로운 커플링 추론을 통해 수렴 오차를 극한으로 제한한다.
• 시스템 행렬 A에 대한 리프시츠 연속성과 허위츠 안정성 가정을 적용하여 전역 점근적 안정성과 수렴성을 보장한다.
• 그론월의 부등식과 상태 전이 행렬 S(t;r)를 포함한 적분 표현식을 사용하여 오차 동역학의 경계를 유도한다.
• 분할 적분과 시간 평균 오차 항의 점근적 분석을 통해 수렴 속도 경계를 도출한다.

실험 결과

연구 질문

• RQ1 스토하스틱 근사에서 랜덤 노이즈를 결정론적 신호로 대체할 수 있는가? 이로 인해 더 빠른 수렴이 달성될 수 있는가?
• RQ2 준-스토하스틱 근사에서 최적의 1/t 수렴 속도를 확보하기 위한 조건은 무엇인가?
• RQ3 동일한 조건 하에서 QSA 알고리즘의 분산은 전통적 스토하스틱 근사와 비교해 어떻게 되는가?
• RQ4 신호 구조(예: 주기성)가 분산 감소와 더 빠른 수렴에 미치는 역할은 무엇인가?
• RQ5 전통적인 O.D.E.-기반 수렴 프레임워크는 무작위성이 아닌 결정론적, i.i.d.가 아닌 신호에 어떻게 적용될 수 있는가?

주요 결과

• I + A가 허위츠 조건을 만족할 경우(모든 고유값 λ에 대해 Re(λ) < -1), QSA는 최적의 1/t 수렴 속도를 달성한다.
• 유한한 상수 σ가 존재하여 lim sup_{t→∞} t∥θ(t) − θ∗∥ ≤ σ를 만족함으로써 1/t 수렴 속도가 달성 가능함을 증명한다.
• 결정론적 신호가 잘 튜닝되어 있을 경우 분산 감소 효과가 뚜렷하며, 이로 인해 전통적 스토하스틱 근사보다 더 빠른 수렴이 가능하다.
• 수렴 분석은 QSA 궤적과 O.D.E. 해 사이의 새로운 커플링 추론에 기반하며, 오차 경계는 그론월의 부등식을 통해 도출된다.
• 이 프레임워크는 선형 모델에서 검증되었으며, 비이상적인 설정으로도 확장되어 이상적인 가정을 초월한 강건성을 보였다.
• 이론적 결과는 결정론적 상태공간 모델을 위한 새로운 강화학습 알고리즘 클래스에 적용되었으며, 탐색을 도입하기 위해 다른 정책을 사용하였다.