[논문 리뷰] Tight High Probability Bounds for Linear Stochastic Approximation with Fixed Stepsize

Alain Durmus, Éric Moulines외 4명|arXiv (Cornell University)|2021. 06. 02.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 고정 단계 크기로 선형 스토하스틱 추정에 대해 비점점적이고 고확률적인 경계를 제공하며, 미약한 모멘트 조건 하에 $1/\delta$에 대한 다항 집중을 확립한다. 이 경계가 더 강한 가정 없이도 개선될 수 없음을 증명하며, 가우시안 또는 지수 꼬리 경계가 성립하지 않음을 보이고, 단계 크기 $\alpha$와 반복 횟수 $n$에 대한 날카운 의존성을 유도하며, 주요 항들이 중심극한정리에서 유도된 점근적 공분산과 일치함을 보인다.

ABSTRACT

This paper provides a non-asymptotic analysis of linear stochastic approximation (LSA) algorithms with fixed stepsize. This family of methods arises in many machine learning tasks and is used to obtain approximate solutions of a linear system $\bar{A}θ= \bar{b}$ for which $\bar{A}$ and $\bar{b}$ can only be accessed through random estimates $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$. Our analysis is based on new results regarding moments and high probability bounds for products of matrices which are shown to be tight. We derive high probability bounds on the performance of LSA under weaker conditions on the sequence $\{({\bf A}_n, {\bf b}_n): n \in \mathbb{N}^*\}$ than previous works. However, in contrast, we establish polynomial concentration bounds with order depending on the stepsize. We show that our conclusions cannot be improved without additional assumptions on the sequence of random matrices $\{{\bf A}_n: n \in \mathbb{N}^*\}$, and in particular that no Gaussian or exponential high probability bounds can hold. Finally, we pay a particular attention to establishing bounds with sharp order with respect to the number of iterations and the stepsize and whose leading terms contain the covariance matrices appearing in the central limit theorems.

연구 동기 및 목표

• 고정 단계 크기로 선형 스토하스틱 추정(LSA)의 점근적 분석과 비점점적 분석 사이의 격차를 메우기 위해.
• 단계 크기 $\alpha$, 반복 횟수 $n$, 신뢰 수준 $\delta$에 대해 날카운 고확률 경계를 도출하기 위해.
• 다항 집중 경계가 필수적인 조건을 규명하여, 최소한의 가정 하에 가우시안 또는 지수 꼬리 경계가 성립하지 않음을 보이고자 하였다.
• 스펙트럼 반경이 1보다 작은 비대칭 행렬에 대해서도 적용 가능한, 스펙트럼 반경 조건 하에서 랜덤 행렬의 곱에 대한 새로운 모멘트 분석을 제공하기 위해.
• 유도된 경계가 랜덤 행렬 수열 $\{\mathbf{A}_n\}$에 대한 추가 가정 없이도 개선될 수 없음을 보여주기 위해.

제안 방법

• 스펙트럼 반경이 1보다 작은 $\mathbb{E}[\mathbf{Y}_n]$를 갖는 i.i.d. 랜덤 행렬 $\mathbf{Y}_1, \dots, \mathbf{Y}_n$의 곱에 대한 모멘트 경계를 유도하며, 이전 연구를 비대칭 행렬으로 확장하였다.
• 이러한 모멘트 경계를 사용하여 $\bar{A}\theta = \bar{b}$를 풀기 위한 재귀식 $\theta_{n+1} = \theta_n - \alpha(\mathbf{A}_{n+1}\theta_n - \mathbf{b}_{n+1})$을 분석하였다.
• 다음 형태의 고확률 경계를 확립하였다: $\mathbb{P}\left(|u^\top(\theta_n - \theta^\star)| \leq c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)} + c\{\rho_\alpha^n + \alpha p_0^2\}\delta^{-1/p_0}\right) \geq 1 - \delta$, 여기서 $p_0 = o(\alpha^{-1/4})$.
• 이 경계에서 $\delta^{-1/p_0}$ 의존성이 최적임을 증명하였으며, 최소한의 가정 하에 $1/\delta$에 대한 로그 꼬리 경계가 성립하지 않음을 보였다.
• 소규모 $\alpha$에 대해 LSA 재귀식의 정적분포 $\pi_\alpha$를 분석하였으며, 점근적 공분산 $\boldsymbol{\Sigma}$를 갖는 중심극한정리를 증명하였다.
• 마르팅글 증분 $\Delta M_{n,k} = \alpha_n^{1/2} u^\top G_{k:0}^{(n)} \varepsilon_{k-1}$을 포함하는 새로운 분해를 사용하여, 정규화된 오차가 가우시안 극한으로 약수렴함을 증명하였다.

실험 결과

연구 질문

• RQ1 이전 연구보다 더 약한 가정 하에 고정 단계 크기 LSA에 대해 고확률 경계를 도출할 수 있는가?
• RQ2 최소한의 모멘트 조건 하에 $\{\mathbf{A}_n, \mathbf{b}_n\}$에 대해 경계에서 $1/\delta$에 대한 다항 의존성이 피할 수 없는가?
• RQ3 경계에서 단계 크기 $\alpha$와 반복 횟수 $n$에 대한 의존성이 중심극한정리에서 유도된 점근적 공분산 $\boldsymbol{\Sigma}$와 일치하도록 날카롭게 만들 수 있는가?
• RQ4 유도된 경계가 랜덤 행렬 $\{\mathbf{A}_n\}$에 대한 더 강한 가정 없이도 개선될 수 없는가?
• RQ5 소규모 $\alpha$에 대해 LSA 재귀식이 정적분포 $\pi_\alpha$를 가지며, $\alpha \downarrow 0$일 때 중심극한정리를 만족하는가?

주요 결과

• 논문은 최소한의 가정 하에 $1/\delta$에 대한 다항 의존성을 갖는 고확률 경계를 확립하였으며, 특히 $p_0 = o(\alpha^{-1/4})$일 때 $\delta^{-1/p_0}$ 형태를 취하며, 이는 최소한의 가정 하에 최적임을 입증하였다.
• 경계의 주요 항은 $c\{\sqrt{\alpha u^\top\boldsymbol{\Sigma}u} + \alpha\}\sqrt{\log(1/\delta)}$이며, 중심극한정리에서 유도된 스케일링과 일치한다.
• 반례를 통해 최소한의 가정 하에 $1/\delta$에 대한 로그 꼬리 또는 지수 꼬리 경계로 개선될 수 없음을 보였다.
• 소규모 $\alpha$에 대해 LSA 재귀식은 유일한 정적분포 $\pi_\alpha$를 가지며, 정규화된 오차 $\alpha^{-1/2}(\theta_n - \theta^\star)$는 공분산 $\boldsymbol{\Sigma}$를 갖는 가우시안으로 약수렴한다.
• 스펙트럼 반경 조건 하에 랜덤 행렬의 곱에 대한 모멘트 분석을 비대칭 행렬로 확장하였으며, $\mathbb{E}[\|\mathbf{Y}_n \cdots \mathbf{Y}_1\|^p]$에 대한 균일한 $L^p$ 경계를 제공하였다.
• 리아푸노프 방정식으로 정의된 점근적 공분산 $\boldsymbol{\Sigma}$는 고확률 경계와 중심극한정리 양쪽 모두에서 자연스럽게 나타나며, 이는 주요 통계적 양으로서의 역할을 확인한다.