[논문 리뷰] Variance Reduced Training with Stratified Sampling for Forecasting Models

Yucheng Lu, Youngsuk Park외 4명|arXiv (Cornell University)|2021. 03. 02.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 분산 감소 확률적 최적화기 SCott을 제안한다. 이는 이질적인 시간 시리즈를 동질적인 군집으로 묶는 분류 표본 추출 기법을 사용하여 기울기 추정 분산을 줄인다. 분류 표본 추출과 제어 변수를 조합함으로써, SCott은 SGD, Adam, Adagrad보다 반복 횟수와 실제 실행 시간 모두에서 더 빠른 수렴을 달성하며, 매끄럽고 비볼록 목표 함수에 대해 이론적 수렴 보장을 제공한다.

ABSTRACT

In large-scale time series forecasting, one often encounters the situation where the temporal patterns of time series, while drifting over time, differ from one another in the same dataset. In this paper, we provably show under such heterogeneity, training a forecasting model with commonly used stochastic optimizers (e.g. SGD) potentially suffers large variance on gradient estimation, and thus incurs long-time training. We show that this issue can be efficiently alleviated via stratification, which allows the optimizer to sample from pre-grouped time series strata. For better trading-off gradient variance and computation complexity, we further propose SCott (Stochastic Stratified Control Variate Gradient Descent), a variance reduced SGD-style optimizer that utilizes stratified sampling via control variate. In theory, we provide the convergence guarantee of SCott on smooth non-convex objectives. Empirically, we evaluate SCott and other baseline optimizers on both synthetic and real-world time series forecasting problems, and demonstrate SCott converges faster with respect to both iterations and wall clock time.

연구 동기 및 목표

• 이질적인 시간 시리즈 예측을 위한 확률적 최적화에서 높은 기울기 분산 문제를 해결하기 위해.
• 개념 이동이나 局부 효과로 인한 시간 시리즈 이질성으로 인해 기존 최적화기인 SGD나 Adam의 훈련 속도가 심각하게 저하될 수 있음을 보여주기 위해.
• 모델 아키텍처를 수정하지 않고도 시간 시리즈를 동질적인 그룹으로 분류함으로써 기울기 분산을 줄이는 방법을 개발하기 위해.
• 제어 변수와 가중 표본 추출을 통해 분산 감소와 계산 복잡도의 균형을 이루는 효율적인 최적화기를 설계하기 위해.
• 매끄럽고 비볼록 목표 함수에 대해 제안된 방법의 이론적 수렴 보장을 제공하기 위해.

제안 방법

• 시간 패턴이나 역학적 유사성에 기반해 시간 시리즈를 동질적인 군집으로 분류하여 기울기 분산을 줄이기 위해.
• 분산 감소와 계산 비용의 균형을 맞추기 위해 군집 간 가중 표본 추출을 사용하기 위해.
• 각 군집 내에서 제어 변수를 적용하는 SGD 스타일 최적화기인 SCott을 도입하기 위해.
• 이전 추정치를 사용해 확률적 기울기를 보정함으로써 안정성을 향상시키기 위해 제어 변수 기법을 활용하기 위해.
• 수렴과 분산의 균형을 맞추기 위해 배치 크기 $ B $ 에 비례하는 단계 크기 스케줄링을 $ B^{-1/3} $ 비례로 설정하기 위해.
• 텔레스코핑 합 기법과 마팅게일 추론을 활용해 매끄럽고 비볼록 목표 함수 하에서 수렴 한계를 유도하기 위해.

실험 결과

연구 질문

• RQ1 대규모 예측에서 시간 시리즈의 이질성은 기존 최적화기인 SGD나 Adam에서 기울기 분산을 무한히 크게 만들 수 있는가?
• RQ2 시간 시리즈를 동질적인 군집으로 분류하면 확률적 최적화에서 기울기 분산을 줄일 수 있는가?
• RQ3 분류 표본 추출과 제어 변수를 조합하면 기존 SGD나 Adam보다 더 효율적이고 안정적인 최적화기가 만들어지는가?
• RQ4 매끄럽고 비볼록 목표 함수에 대해 제안된 SCott 최적화기의 이론적 수렴 속도는 무엇인가?
• RQ5 SCott은 수렴 속도와 실제 훈련 시간 측면에서 기준 최적화기와 비교해 어떻게 성능을 내는가?

주요 결과

• SCott은 배치 크기 $ B $ 를 기준으로 수렴 속도 $ Oig((f(oldsymbol{0}) - ext{inf} f(oldsymbol{ heta}))L / (B^{1/3}T) + ext{sum of weighted variances} ig) $ 를 달성한다.
• 계산된 확률적 기울기 총 수는 $ Oig( rac{ riangle L | ilde{oldsymbol{D}}|^{2/3}}{ ilde{oldsymbol{ heta}}^2} ig) $ 이며, 여기서 $ riangle = f(oldsymbol{0}) - ext{inf} f(oldsymbol{ heta}) $ 이다.
• 실험 결과, SCott은 합성 및 실세계 예측 작업에서 SGD, Adam, Adagrad보다 반복 횟수와 실제 실행 시간 모두에서 더 빠르게 수렴하는 것으로 나타났다.
• 모델 아키텍처 변경 없이도 일반화 성능을 유지하거나 향상시키며, 다중 모델이 필요하지 않다.
• 특히 개념 이동이나 국소적 영향이 존재할 경우, 이질적인 시간 시리즈에서 기울기 분산을 크게 감소시킨다.
• 이론적 분석을 통해 매끄럽고 비볼록 목표 함수 하에서 수렴이 보장되며, 기대 기울기 노름에 대한 명시적 한계가 확인되었다.