[논문 리뷰] Finite-Time Convergence Rates of Nonlinear Two-Time-Scale Stochastic Approximation under Markovian Noise

Thinh T. Doan|arXiv (Cornell University)|2021. 04. 04.

Markov Chains and Monte Carlo Methods참고 문헌 42인용 수 4

한 줄 요약

이 논문은 마르코프 노이즈 하에서 비선형 이중시간스케일 확률적 근사의 유한시간 수렴 속도를 확립하며, 평균 제곱 오차에 대해 기대값에서 ${\cal O}(1/k^{2/3})$ 수렴 속도를 증명한다. 분석은 리아푸노프 함수와 기하학적 혼합 시간을 활용하여 종속된 자료와 편향을 다루며, 비점근적 설정에서 단일 섭동 이론을 확장한다.

ABSTRACT

We study the so-called two-time-scale stochastic approximation, a simulation-based approach for finding the roots of two coupled nonlinear operators. Our focus is to characterize its finite-time performance in a Markov setting, which often arises in stochastic control and reinforcement learning problems. In particular, we consider the scenario where the data in the method are generated by Markov processes, therefore, they are dependent. Such dependent data result to biased observations of the underlying operators. Under some fairly standard assumptions on the operators and the Markov processes, we provide a formula that characterizes the convergence rate of the mean square errors generated by the method to zero. Our result shows that the method achieves a convergence in expectation at a rate $\mathcal{O}(1/k^{2/3})$, where $k$ is the number of iterations. Our analysis is mainly motivated by the classic singular perturbation theory for studying the asymptotic convergence of two-time-scale systems, that is, we consider a Lyapunov function that carefully characterizes the coupling between the two iterates. In addition, we utilize the geometric mixing time of the underlying Markov process to handle the bias and dependence in the data. Our theoretical result complements for the existing literature, where the rate of nonlinear two-time-scale stochastic approximation under Markovian noise is unknown.

연구 동기 및 목표

• 데이터가 마르코프 과정에 의해 생성될 때 비선형 이중시간스케일 확률적 근사의 유한시간 수렴 성능을 규명하는 것.
• 확률적 근사 알고리즘에서 마르코프 샘플링으로 인한 종속적이고 편향된 관측치의 과제를 다루는 것.
• 표준 연산자 및 마르코프 과정에 대한 가정 하에 반복의 평균 제곱 오차에 대한 비점근적 수렴 속도를 유도하는 것.
• 마르코프 노이즈가 존재하는 유한시간 분석에 단일 섭동 이론을 확장하는 것.
• 스텝 사이즈 선택과 혼합 시간이 이중시간스케일 SA의 수렴 속도에 미치는 영향을 정량화하는 것.

제안 방법

• 이중시간스케일 시스템에서 빠른 반복과 느린 반복 간의 결합을 분석하기 위해 리아푸노프 함수를 사용한다.
• 기본 마르코프 과정의 기하학적 혼합 시간을 도입하여 종속된 샘플에서 유도된 편향을 정량화하고 제어한다.
• 빠른 반복과 느린 반복에 대한 스텝 사이즈인 $\alpha_k$ 및 $\beta_k$를 사용해 시간스케일 분리를 수행하며, $\beta_k \ll \alpha_k$를 만족시킨다.
• 양쪽 반복이 고정점에서 벗어난 총 편차를 추적하기 위해 수정된 오차 과정 $\hat{z}_k = \hat{x}_k + \hat{y}_k$를 도입한다.
• 상수 $B$, $\mu_F$, $\mu_G$, 및 혼합 시간 $\tau(\alpha_k)$를 사용해 오차 항에 대한 재귀 부등식과 경계를 적용하여 수렴 경계를 도출한다.
• 오차 항의 성장률을 제어하고 기대 제곱 오차의 균일한 경계를 유도하기 위해 $w_k$를 통한 지수 가중치를 사용한다.

실험 결과

연구 질문

• RQ1 데이터가 마르코프 과정에 의해 생성될 때 비선형 이중시간스케일 확률적 근사의 유한시간 수렴 속도는 무엇인가?
• RQ2 마르코프 과정의 기하학적 혼합 시간이 알고리즘의 편향과 수렴에 어떤 영향을 미치는가?
• RQ3 단일 섭동 프레임워크는 마르코프 샘플링 하에서 비점근적 수렴 속도를 제공하기 위해 확장될 수 있는가?
• RQ4 어떤 스텝 사이즈 선택이 종속된 관측치를 다루면서 최적의 수렴 속도를 보장하는가?
• RQ5 빠른 반복과 느린 반복 간의 결합 및 비.i.i.d. 자료에서 유도된 편향이 함께 평균 제곱 오차에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 반복의 평균 제곱 오차에 대해 기대값에서 ${\cal O}(1/k^{2/3})$ 유한시간 수렴 속도를 달성한다.
• 수렴 속도는 표준 연산자 및 마르코프 과정에 대한 가정 하에 유도되었으며, 기하학적 에르고디시티를 포함한다.
• 마르코프 체인의 기하학적 혼합 시간이 종속된 샘플에서 유도된 편향을 명시적으로 제어하는 데 사용된다.
• 분석 결과 오차 경계는 스텝 사이즈의 곱인 $\alpha_k\beta_k$, $\alpha_k\alpha_{k;\tau(\alpha_k)}$, $\beta_k^2$에 의존하며, 계수는 연산자 리프시츠 상수와 고정점 노름에 따라 달라진다.
• 리아푸노프 함수 접근법은 두 시간스케일 간의 상호작용을 성공적으로 포착하며 안정성과 수렴을 보장한다.
• 이 결과는 마르코프 노이즈 하에서 비선형 이중시간스케일 SA에 대해 첫 유한시간 수렴 속도를 제공함으로써 문헌의 중요한 격차를 메운다.