[논문 리뷰] On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration

Wenlong Mou, Chris Junchi Li외 3명|arXiv (Cornell University)|2020. 04. 09.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 21

한 줄 요약

이 논문은 일정 단계 크기 하에서 선형 스토하스틱 추정에 대한 폴락-르퍼 평균화를 적용한 정밀한 분석을 제공하며, 단계 크기 의존 보정 항을 포함한 정확한 점근적 공분산을 갖는 중심극한정리(CLT)를 수립한다. 또한 CLT 분산과 상수 오차 내에서 일致하는 비점근적 농도 불등식을 유도하고, 시스템 행렬이 허위츠가 아니더라도 고유값의 실수부가 음이 아닌 경우에도 O(1/T)의 평균제곱오차율을 증명한다.

ABSTRACT

We undertake a precise study of the asymptotic and non-asymptotic properties of stochastic approximation procedures with Polyak-Ruppert averaging for solving a linear system $\bar{A} θ= \bar{b}$. When the matrix $\bar{A}$ is Hurwitz, we prove a central limit theorem (CLT) for the averaged iterates with fixed step size and number of iterations going to infinity. The CLT characterizes the exact asymptotic covariance matrix, which is the sum of the classical Polyak-Ruppert covariance and a correction term that scales with the step size. Under assumptions on the tail of the noise distribution, we prove a non-asymptotic concentration inequality whose main term matches the covariance in CLT in any direction, up to universal constants. When the matrix $\bar{A}$ is not Hurwitz but only has non-negative real parts in its eigenvalues, we prove that the averaged LSA procedure actually achieves an $O(1/T)$ rate in mean-squared error. Our results provide a more refined understanding of linear stochastic approximation in both the asymptotic and non-asymptotic settings. We also show various applications of the main results, including the study of momentum-based stochastic gradient methods as well as temporal difference algorithms in reinforcement learning.

연구 동기 및 목표

• 일정 단계 크기 선형 스토하스틱 추정에서 평균화된 반복의 점근적 분포를 정밀하게 기술하는 것.
• 점근적 CLT 결과와 비점근적 유한표본 경계 사이의 격차를 메우기 위해, CLT 분산과 일致하는 고확률 농도 불등식을 도출하는 것.
• 고유값 실수부가 음이 아닌 경우를 포함하여 안정(허위츠) 시스템을 초월한 폴락-르퍼 평균화의 이론적 이해를 확장하는 것.
• 정밀한 분석을 동적 모멘텀 기반 SGD와 시간차분 학습에 적용하여 수렴성과 오차 행동에 대한 새로운 통찰을 제공하는 것.

제안 방법

• 일정 단계 크기 선형 스토하스틱 추정에서 평균화된 반복에 대해 중심극한정리(CLT)를 유도하며, 점근적 공분산 행렬이 단계 크기 비례 보정 항을 포함한다.
• 행렬 A와 벡터 b의 관측에서 상태에 의존하는 노이즈를 다루기 위해 반복 동역학의 마팅게일 표현을 사용한다.
• 반복 과정 {θₜ}가 마코프 체인으로서의 정적성을 확립하여 린데베르크 유형 CLT와 정적 이론의 적용을 가능하게 한다.
• 오차의 2차 모멘트를 유 bounds하기 위해 타원형 항등식을 적용하여 비점근적 농도 분석을 가능하게 한다.
• CLT의 주요 분산과 일致하는 주요 항을 갖는 고확률 경계를 유도하기 위해 노이즈 분포에 더 강한 尾 꼬리 조건을 도입한다.
• 고유벡터 행렬 U를 통한 스펙트럼 분해와 조건수 제어를 통해 현재 반복에 의존하는 노이즈의 의존도를 관리한다.

실험 결과

연구 질문

• RQ1 일정 단계 크기 선형 스토하스틱 추정에서 평균화된 반복의 정확한 점근적 공분산은 무엇이며, 기존 폴락-르퍼 형식과 어떻게 다를까?
• RQ2 평균화된 반복에 대해 비점근적 고확률 농도 불등식을 도출할 수 있는가? 이 경우 주요 항이 점근적 분산과 일치하는가?
• RQ3 시스템 행렬 A가 허위츠가 아니지만 고유값 실수부가 음이 아닌 경우 수렴 속도는 어떻게 되는가?
• RQ4 정밀한 분석 결과가 강화학습에서 동적 모멘텀 기반 SGD와 시간차분 학습에 어떻게 적용되는가?
• RQ5 분석이 모멘텀의 가속 효과를 포착할 수 있고, near-optimal 비율을 갖는 인스턴스에 의존하는 ℓ∞ 경계를 제공할 수 있는가?

주요 결과

• 일정 단계 크기 폴락-르퍼 평균화에 대해 중심극한정리(CLT)가 수립되었으며, 점근적 공분산 행렬은 기존 폴락-르퍼 항과 단계 크기 비례 보정 항의 합으로 구성된다.
• 서브-가우시안 노이즈 조건 하에서, 고확률 농도 불등식이 도출되었으며, 방향에 관계없이 주요 항이 점근적 분산과 상수 오차 내에서 일致한다. 실패 확률에 대한 다항로그 의존성이 있다.
• 행렬 Â의 고유값 실수부가 음이 아닌 경우(항상 허위츠일 필요는 없음), 평균화된 반복은 스펙트럼 갭에 무관하게 O(1/T)의 평균제곱오차율을 달성한다.
• 고유벡터 행렬 U의 조건수와 단계 크기 제약 조건을 활용해 성장률을 제어하는 새로운 레마를 통해 반복 오차의 2차 모멘트가 유 bounds된다.
• 분석을 통해 강화학습에서 정책 평가에 대해 인스턴스에 의존하는 ℓ∞ 경계를 near-optimal 비율로 도출하였으며, 평균 보상 TD 학습에 대해 갭에 의존하지 않는 결과를 도출하였다.
• 결과들은 SGD에서 모멘텀의 가속 효과를 설명하며, 비선형 설정에서 선형화된 스토하스틱 추정의 정밀한 이론적 이해를 제공한다.