[논문 리뷰] Optimal and instance-dependent guarantees for Markovian linear stochastic approximation

Wenlong Mou, Ashwin Pananjady외 2명|arXiv (Cornell University)|2021. 12. 23.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 마르코프 샘플링 하에서 선형 스토하스틱 추정에 대해 최적의, 인스턴스에 의존하는 비점근적 오차 경계를 확립한다. Polyak–Ruppert 평균화가 차원 $d$와 혼합 시간 $t_{\mathrm{mix}}$에 대한 날카운 의존성을 갖는 최소최대 최적 오차를 달성하며, TD($\lambda$)와 선형 자기회귀 모델에 대해 인스턴스 최적성 보장을 제공한다.

ABSTRACT

We study stochastic approximation procedures for approximately solving a $d$-dimensional linear fixed point equation based on observing a trajectory of length $n$ from an ergodic Markov chain. We first exhibit a non-asymptotic bound of the order $t_{\mathrm{mix}} frac{d}{n}$ on the squared error of the last iterate of a standard scheme, where $t_{\mathrm{mix}}$ is a mixing time. We then prove a non-asymptotic instance-dependent bound on a suitably averaged sequence of iterates, with a leading term that matches the local asymptotic minimax limit, including sharp dependence on the parameters $(d, t_{\mathrm{mix}})$ in the higher order terms. We complement these upper bounds with a non-asymptotic minimax lower bound that establishes the instance-optimality of the averaged SA estimator. We derive corollaries of these results for policy evaluation with Markov noise -- covering the TD($λ$) family of algorithms for all $λ\in [0, 1)$ -- and linear autoregressive models. Our instance-dependent characterizations open the door to the design of fine-grained model selection procedures for hyperparameter tuning (e.g., choosing the value of $λ$ when running the TD($λ$) algorithm).

연구 동기 및 목표

• 마르코프 데이터 하에서 선형 스토하스틱 추정에 대해 점근적이지 않은, 인스턴스에 의존하는 오차 경계를 제공하여 문제의 특정 난이도를 반영한다.
• Polyak–Ruppert 평균화 추정기의 통계적 최적성을 증명하기 위해 일치하는 최소최대 하한을 제시한다.
• 마르코프 노이즈 하에서 TD($\lambda$) 및 선형 자기회귀 모델을 통한 정책 평가에 대해 날카운 유한표본 보장을 도출한다.
• 인스턴스에 의존하는 성능 특성 분석을 통해 하이퍼파rameter(예: TD($\lambda$)의 $\lambda$)에 대한 세밀한 모델 선택을 가능하게 한다.
• 혼합 시간 $t_{\mathrm{mix}}$와 차원 $d$에 대한 의존성 향상된 수렴 속도를 확보하기 위해 마르코프 샘플링에 대한 부트스트래핑 추론 기법을 개발한다.

제안 방법

• 일반적인 스토하스틱 추정 기법을 분석하며, 일정 단계 크기 $\eta$를 사용하여 $\theta_{t+1} = (1-\eta)\theta_t + \eta(L_{t+1}\theta_t - b_{t+1})$로 갱신한다.
• 반복값에 대해 Polyak–Ruppert 평균화를 적용하여 $\widehat{\theta}_n = \frac{1}{n-n_0}\sum_{t=n_0}^{n-1} \theta_t$를 정의하며, 이때 $n_0$는 버닝 인터벌이다.
• 평균화된 추정기의 제곱 오차에 대해 점근적이지 않은 상한을 유도하며, 주요 항이 국소 점근 최소최대 한계와 일치함을 보인다.
• 마르코프 의존성과 혼합 시간 $t_{\mathrm{mix}}$ 하에서 오차 전파를 제어하기 위해 새로운 부트스트래핑 추론 기법을 적용한다.
• 주어진 마르코프 체인 인스턴스의 근방에서 점근적이지 않은 국소 최소최대 하한을 설정하여 인스턴스 최적성을 확인한다.
• 결과를 정책 평가(TD($\lambda$) for $\lambda \in [0,1)$) 및 선형 자기회귀 모델에 적용하여, 최적의 샘플 복잡도 $O(t_{\mathrm{mix}}d)$를 도출한다.

실험 결과

연구 질문

• RQ1 마르코프 샘플링 하에서 선형 스토하스틱 추정에 대해 최적의 비점근적 오차율은 무엇이며, 이는 $d$와 $t_{\mathrm{mix}}$에 어떻게 의존하는가?
• RQ2 Polyak–Ruppert 평균화 추정기는 문제의 특정 매개변수에 대한 오차 의존성 측면에서 인스턴스 최적 성능를 달성할 수 있는가?
• RQ3 TD($\lambda$) 및 선형 자기회귀 모델의 오차 경계는 $\lambda$, $d$, $t_{\mathrm{mix}}$에 따라 어떻게 척도화되는가?
• RQ4 제안된 추정기는 유한 표본에서 최소최대 최적인가, 그리고 점근적이지 않은 하한을 통해 이를 확인할 수 있는가?
• RQ5 인스턴스에 의존하는 보장 조건을 통해 스트리밍 데이터 하에서 정책 평가의 하이퍼파rameter(예: $\lambda$)에 대한 적응적 선택이 가능한가?

주요 결과

• 표준 SA의 마지막 반복값의 제곱 오차는 비점근적 설정에서 $O(t_{\mathrm{mix}} \frac{d}{n})$로 경계된다.
• Polyak–Ruppert 평균화 추정기는 주요 항이 국소 점근 최소최대 한계와 일치하는 인스턴스에 의존하는 오차 경계를 달성한다.
• 상한에는 $d$와 $t_{\mathrm{mix}}$에 대한 날카운 의존성이 고차항에 포함되어 문제의 특정 난이도를 반영한다.
• 점근적이지 않은 최소최대 하한이 확립되어 평균화된 추정기가 인스턴스 최적임을 증명한다.
• 결과는 마르코프 샘플링 하에서 선형 고정점 방정식을 해결할 때 최적의 샘플 복잡도 $O(t_{\mathrm{mix}} d)$를 암시한다.
• TD($\lambda$) 및 선형 자기회귀 모델에 대해 추론된 추론을 통해 제안된 경계가 이들 설정에서 날카로운 것으로 밝혀진다.