[논문 리뷰] Explicit Mean-Square Error Bounds for Monte-Carlo and Linear Stochastic Approximation

Shuhang Chen, Adithya M. Devraj외 2명|arXiv (Cornell University)|2020. 02. 07.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 12

한 줄 요약

이 논문은 강화학습 및 마코프 체인 몬테카를로 방법(MCMC)에서 흔히 발생하는 마코프 노이즈 하에서의 확률적 근사 알고리즘에 대해 명시적인 평균제곱오차 경계를 수립한다. 이는 매개변수 추정치의 공분산이 정확한 상수를 포함한 최적의 $O(1/n)$ 속도로 수렴함을 증명한다. 고차항 전개를 유도하여, 이차 리아푸노프 방정식과 포아송 방정식을 통해 $O(n^{-2})$ 항을 도출함으로써, 유한한 반복 횟수 내 성능 최적화를 위한 정밀한 보상 계수 설계가 가능해진다.

ABSTRACT

This paper concerns error bounds for recursive equations subject to Markovian disturbances. Motivating examples abound within the fields of Markov chain Monte Carlo (MCMC) and Reinforcement Learning (RL), and many of these algorithms can be interpreted as special cases of stochastic approximation (SA). It is argued that it is not possible in general to obtain a Hoeffding bound on the error sequence, even when the underlying Markov chain is reversible and geometrically ergodic, such as the M/M/1 queue. This is motivation for the focus on mean square error bounds for parameter estimates. It is shown that mean square error achieves the optimal rate of $O(1/n)$, subject to conditions on the step-size sequence. Moreover, the exact constants in the rate are obtained, which is of great value in algorithm design.

연구 동기 및 목표

• 강화학습(Reinforcement Learning, RL) 및 마코프 체인 몬테카를로 방법(Markov chain Monte Carlo, MCMC)에서 흔히 발생하는 마코프 노이즈 하에서의 확률적 근사(SA) 알고리즘에 대해 유한한 $n$에 대한 평균제곱오차 경계를 수립하는 것.
• 중앙극한정리(Central Limit Theorem, CLT)가 순수하게 점근적임을 넘어서, 매개변수 추정치의 공분산에 대해 정확한 상수를 포함한 명시적 오차 경계를 도출함으로써, CLT의 비점근적 성격을 입증하는 것.
• 이차 리아푸노프 방정식과 이차 포아송 방정식을 풀어 $O(1/n)$ 속도를 $O(n^{-2})$로 정밀화함으로써, 고정된 반복 예산 하에서 정밀한 알고리즘 설계를 가능하게 하는 것.
• 마코프 노이즈 하에서의 SA에 대해 허프딩 유형의 경계가 일반적으로 성립하지 않음을 보여주며, 이는 특히 가역적이고 기하적 에르고딕인 체인(예: M/M/1 큐)일지라도 마찬가지임을 입증함으로써, 평균제곱오차 중심의 분석에 대한 타당성을 뒷받침하는 것.

제안 방법

• 분석은 선형화된 SA 재귀식 $\widetilde{\theta}_{n+1} = \widetilde{\theta}_n + \alpha_{n+1}(A\widetilde{\theta}_n + \Delta_{n+1})$ 에 초점을 맞추며, 여기서 $A = \partial\bar{f}(\theta^*)$ 이고 $\Delta_n = f(\theta^*, \Phi_n)$ 이다.
• 점근적 공분산 $\Sigma_\theta$ 는 다음과 같은 리아푸노프 방정식의 유일한 해로서 도출된다: $(\frac{1}{2}I + A)\Sigma + \Sigma(\frac{1}{2}I + A)^T + \Sigma_\Delta = 0$, 여기서 $\Sigma_\Delta$ 는 $\Delta_n$ 의 점근적 공분산이다.
• 이차 오차 전개는 이차 리아푸노프 방정식과 이차 포아송 방정식을 풀어 얻으며, 이로써 공분산 전개의 $n^{-2}$ 항이 도출된다: $\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$.
• 이 방법은 오차를 네 개의 성분 $\mathcal{E}_n^{(1)}$ 에서 $\mathcal{E}_n^{(4)}$ 로 분해하고, 일반적인 단계 크기 수열 $\alpha_n \sim n^{-\varrho}$ 하에서 재귀 부등식과 곱의 추정을 통해 경계를 도출한다.
• 분석은 $\limsup_{n\to\infty} n^{\varrho} \|\mathcal{E}_n^{(i)}\|_T < \infty$ 를 확보하며, $i=1,\dots,4$ 이고 $\varrho < \varrho_0 \leq 1$ 이므로 각 오차 성분의 수렴 속도가 보장된다.
• 마팅게일 차분 성분 $\mathcal{E}_n^{(1)}$ 는 $\|\Delta_n^{\mathcal{A}}\|_T$ 를 포함하는 재귀 부등식을 통해 경계가 되며, 이로 인해 $\|\mathcal{E}_n^{(1)}\|_T^2 = O(n^{-2\varrho})$ 또는 $O(n^{-2})$ 가 도출되며, 이는 전체 수렴 속도를 결정한다.

실험 결과

연구 질문

• RQ1 허프딩 유형의 경계가 일반적으로 성립하지 않는 마코프 노이즈 하에서의 SA에 대해, 명시적인 평균제곱오차 경계를 도출할 수 있는가?
• RQ2 매개변수 추정치 공분산의 정확한 수렴 속도는 무엇이며, $O(1/n)$ 항의 상수는 명시적으로 계산할 수 있는가?
• RQ3 평균제곱오차 전개의 고차항은 어떻게 특성화할 수 있으며, 이차 리아푸노프 및 포아송 방정식은 이러한 정밀화 과정에서 어떤 역할을 하는가?
• RQ4 단계 크기 수열 $\alpha_n$ 의 선택은 유한한 $n$에서의 SA 알고리즘 성능에 어떤 영향을 미치는가?
• RQ5 유도된 오차 경계를 활용해 고정된 반복 횟수 내 평균제곱오차를 최소화하는 최적의 보상 수열을 설계할 수 있는가?

주요 결과

• 확률적 근사 매개변수 추정치의 평균제곱오차는 최적의 속도 $O(1/n)$ 로 수렴하며, 이는 리아푸노프 방정식으로부터 도출된 정확한 상수 $\Sigma_\theta$ 를 포함한다.
• 논문은 정밀화된 오차 경계를 수립한다: $\text{Cov}(\theta_n) = n^{-1}\Sigma_\theta + n^{-2}\Sigma_{\theta,2} + O(n^{-2-\delta})$, 여기서 $\Sigma_{\theta,2}$ 는 이차 리아푸노프 방정식과 이차 포아송 방정식을 통해 명시적으로 계산된다.
• 오차 성분의 수렴 속도는 $\varrho < \varrho_0 \leq 1$ 인 $O(n^{-\varrho})$ 로 나타나며, $\varrho_0$ 는 마코프 체인과 행렬 $A$ 의 스펙트럼 성질에 따라 달라진다.
• 분석은 마코프 노이즈 하에서의 SA에 대해 허프딩 유형의 경계가 일반적으로 성립하지 않음을 입증하며, 이는 특히 가역적이고 기하적 에르고딕인 체인(예: M/M/1 큐)일지라도 마찬가지로 성립하지 않음을 보여준다.
• 마팅게일 차분 성분 $\mathcal{E}_n^{(1)}$ 의 경계는 $\varrho$ 에 따라 $O(n^{-2\varrho})$ 또는 $O(n^{-2})$ 가 되며, 이는 단계 크기 지수에 따라 결정된다.
• 결과적으로, 오차 전개의 $n^{-2}$ 항을 최소화함으로써, 끝내기 설정에서 최적의 보상 수열을 설계할 수 있는 프레임워크를 제공하며, 이는 강화학습 및 MCMC 알고리즘에 직접 적용 가능하다.