[논문 리뷰] Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms

Guy Bresler, Prateek Jain외 3명|arXiv (Cornell University)|2020. 06. 16.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 6

한 줄 요약

이 논문은 마르코프성 데이터를 가진 최소 제곱 회귀의 기본 한계를 규명하며, i.i.d. 데이터에 비해 혼합 시간 τ_mix의 요소로 인해 최소 최대 오차율이 본질적으로 더 나쁘다는 것을 보여준다. 경험 재생 기반의 새로운 알고리즘(SGD-ER)을 제안하여 표준 SGD와 하나의 샘플씩 처리하는 기준선인 SGD-DD(모든 𝒪(τ_mix)개 샘플 중 하나만 처리)보다 뛰어난 성능을 보이며, 구조화된 마르코프 설정에서 경험 재생의 사용에 대한 첫 이론적 근거를 제공한다.

ABSTRACT

We study the problem of least squares linear regression where the data-points are dependent and are sampled from a Markov chain. We establish sharp information theoretic minimax lower bounds for this problem in terms of $τ_{\mathsf{mix}}$, the mixing time of the underlying Markov chain, under different noise settings. Our results establish that in general, optimization with Markovian data is strictly harder than optimization with independent data and a trivial algorithm (SGD-DD) that works with only one in every $ ildeΘ(τ_{\mathsf{mix}})$ samples, which are approximately independent, is minimax optimal. In fact, it is strictly better than the popular Stochastic Gradient Descent (SGD) method with constant step-size which is otherwise minimax optimal in the regression with independent data setting. Beyond a worst case analysis, we investigate whether structured datasets seen in practice such as Gaussian auto-regressive dynamics can admit more efficient optimization schemes. Surprisingly, even in this specific and natural setting, Stochastic Gradient Descent (SGD) with constant step-size is still no better than SGD-DD. Instead, we propose an algorithm based on experience replay--a popular reinforcement learning technique--that achieves a significantly better error rate. Our improved rate serves as one of the first results where an algorithm outperforms SGD-DD on an interesting Markov chain and also provides one of the first theoretical analyses to support the use of experience replay in practice.

연구 동기 및 목표

• 마르코프 체인이 생성하는 데이터일 경우 최소 제곱 회귀에 대한 정보 이론적 최소 최대 하한을 규명하는 것.
• 마르코프 의존성이 존재하는 상황에서 일정한 스텝 사이즈를 가진 표준 확률적 경사 하강법(SGD)과 데이터를 제거하는 기준선(SGD-DD)의 성능을 비교하는 것.
• 예를 들어 가우시안 자기회귀 과정과 같은 구조화된 마르코프 체인이, 단순한 SGD-DD 방법보다 더 효율적인 최적화 알고리즘을 허용할 수 있는지 조사하는 것.
• 비-i.i.d. 마르코프 설정에서 경험 재생의 첫 이론적 분석을 제공하며, 오차율 측면에서 그 우월성을 입증하는 것.

제안 방법

• 혼합 시간 τ_mix에 따라 날카운 최소 최대 하한을 유도하여, i.i.d. 데이터에 비해 오차율이 본질적으로 τ_mix 배 더 나쁘다는 것을 보여준다.
• 모든 𝒪(τ_mix)개 샘플의 블록에서 하나의 샘플만 처리하는 단순한 알고리즘인 SGD-DD를 제안하여 대략적인 i.i.d. 행동을 복원한다.
• 과거 기울기를 저장하고 무작위로 샘플링하는 경험 재생을 사용하는 SGD의 변형인 SGD-ER을 도입하여, 마르코프 의존성 하에서 분산을 줄이고 수렴을 향상시킨다.
• 독립적이고 상관 있는 노이즈 하에서 SGD와 SGD-ER의 수렴을 분석하며, 마르코프 타입의 추론을 사용하여 추정 오차의 재귀적 경계를 도출한다.
• 구체적인 모델로 가우시안 자기회귀 마르코프 체인을 사용하여, 심지어 구조화된 설정에서도 표준 SGD가 SGD-DD를 능가하지 못하지만, SGD-ER은 능가함을 보여준다.
• 가중치 갱신에서 기대 제곱 오차의 재귀적 분석을 수행하며, 농도 불등식과 혼합 시간 성질을 활용하여 추정 오차의 감쇠 비율을 경계한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 마르코프 체인에 의해 생성될 경우 최소 제곱 회귀의 기본 정보 이론적 한계는 무엇인가?
• RQ2 마르코프 데이터 환경에서 일정한 스텝 사이즈를 가진 표준 SGD의 성능은 데이터 제거 기준선인 SGD-DD와 비교해 어떻게 되는가?
• RQ3 가우시안 자기회귀 과정과 같은 구조화된 마르코프 체인이, SGD-DD를 능가하는 최적화 알고리즘을 허용할 수 있는가?
• RQ4 경험 재생이 마르코프 데이터 환경에서 SGD와 SGD-DD에 비해 증명 가능한 이점을 제공하는가?

주요 결과

• 마르코프성 데이터를 가진 최소 제곱 회귀의 최소 최대 오차율은 i.i.d. 경우에 비해 τ_mix 배 더 나쁘게 하한이 설정되며, 이 하한은 날카롭다.
• 대부분의 샘플을 제거하여 대략적인 독립성을 확보하는 단순한 SGD-DD 알고리즘은 최소 최대 최적이며, 일정한 스텝 사이즈를 가진 표준 SGD보다 엄밀히 우수하다.
• 조금 더 구조화된 가우시안 자기회귀 마르코프 체인 설정에서도 표준 SGD는 SGD-DD를 능가하지 못하며, 이는 SGD가 마르코프 데이터에 대해 최소 최대 최적이 아니라는 것을 시사한다.
• 경험 재생 기반으로 제안된 SGD-ER 알고리즘은 SGD와 SGD-DD보다 훨씬 우수한 오차율을 달성하며, 비트리비얼한 마르코프 설정에서 SGD-DD를 능가하는 첫 번째 증명 가능한 개선 알고리즘이다.
• 이 분석은 강화 학습, 특히 종속된 데이터를 가진 딥 RL 설정에서 경험 재생의 광범위한 경험적 성공에 대한 첫 이론적 근거를 제공한다.
• ϵ-정확도를 달성하기 위한 샘플 수는 Ω(d/ϵ²)이며, 유도된 오차율 하에서 이 하한은 날카롭다. 이는 제안된 방법의 최적성을 확인한다.