[논문 리뷰] LSAR: Efficient Leverage Score Sampling Algorithm for the Analysis of Big Time Series Data

Ali Eshragh, Fred Roosta외 2명|arXiv (Cornell University)|2019. 11. 27.

Statistical Methods and Inference참고 문헌 37인용 수 7

한 줄 요약

이 논문은 랜덤화 수치선형대수(RandNLA) 기법을 사용하여 대규모 시계열 데이터에서 자기회귀(AR) 모델의 리지드 스코어를 효율적으로 추정하는 랜덤화 알고리즘인 LSAR를 제안한다. 시간적 구조를 활용함으로써, 고확률 오차 한계를 확보하면서도 모델 차수 선택과 매개수 추정을 가속화하여 정확도를 유지하면서도 정확한 방법 대비 최대 1600초의 계산 시간을 절감한다.

ABSTRACT

We apply methods from randomized numerical linear algebra (RandNLA) to develop improved algorithms for the analysis of large-scale time series data. We first develop a new fast algorithm to estimate the leverage scores of an autoregressive (AR) model in big data regimes. We show that the accuracy of approximations lies within $(1+\bigO{\varepsilon})$ of the true leverage scores with high probability. These theoretical results are subsequently exploited to develop an efficient algorithm, called LSAR, for fitting an appropriate AR model to big time series data. Our proposed algorithm is guaranteed, with high probability, to find the maximum likelihood estimates of the parameters of the underlying true AR model and has a worst case running time that significantly improves those of the state-of-the-art alternatives in big data regimes. Empirical results on large-scale synthetic as well as real data highly support the theoretical results and reveal the efficacy of this new approach.

연구 동기 및 목표

• 대규모 시계열 데이터에 대한 AR 모델 피팅에서 지배적인 런타임을 차지하는 대규모 최소제곱(OLS) 문제로 인한 계산 성능 저하 문제를 해결하기 위해.
• 정확한 계산의 비용을 피하면서도 AR 데이터 행렬의 리지드 스코어를 빠르고 구조 인식형으로 근사화하는 방법을 개발하기 위해.
• 매개수 추정 및 모델 차수 선택에서 고확률 정확도를 보장하는 효율적인 샘플링 기반 알고리즘(LSAR)을 설계하기 위해.
• 합성 및 실제 대규모 시계열 데이터에서 LSAR의 속도와 정확도를 경험적으로 검증하여 균일 샘플링 및 정확한 방법을 초월하기 위해.

제안 방법

• AR 모델의 설계 행렬을 랜덤화 수치선형대수(RandNLA) 기법을 활용해 더 작은 스케치로 압축함으로써 핵심 성질을 유지한다.
• 시간적 상관관계 구조를 활용하여 근사 선형 시간 내에 AR 데이터 행렬의 리지드 스코어를 근사화하는 새로운 알고리즘을 개발한다.
• 정확도 향상과 이론적 보장을 향상시키기 위해 균일 샘플링 대신 비균일 리지드 스코어 샘플링을 사용한다.
• 근사된 리지드 스코어를 활용해 데이터 행렬에서 행을 샘플링함으로써 더 작은 스케치에서의 빠른 OLS 해를 가능하게 한다.
• LSAR 알고리즘은 고확률 상대 오차 한계를 갖는 스케치된 OLS 문제를 통해 AR 매개수의 최대우도 추정치를 계산한다.
• 이론적 분석을 통해 최악의 경우 런타임과 오차 한계를 유도하며, 고확률로 $(1+\mathcal{O}(\varepsilon))$ 근사 정확도를 보여준다.

실험 결과

연구 질문

• RQ1 시간적 구조를 활용하여 정확한 계산의 비용을 피하면서 AR 모델에 대해 리지드 스코어 샘플링을 효율적으로 계산할 수 있는가?
• RQ2 제안된 LSAR 알고리즘이 뚜렷한 런타임 단축을 이룩하면서도 매개수 추정 및 모델 차수 선택에서 증명 가능하게 정확한 성능을 달성하는가?
• RQ3 대규모 시계열 데이터에서 LSAR는 균일 샘플링 및 정확한 방법에 비해 정확도, 수렴성 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ4 특히 균일 샘플링이 수렴하지 못하는 상황에서, LSAR는 다양한 표본 크기에서 안정적이고 수렴 가능한 매개수 추정을 유지할 수 있는가?
• RQ5 금융 예측이나 기상 모델링과 같은 실시간 응용 분야에서 LSAR의 실질적 영향은 무엇인가?

주요 결과

• LSAR는 정확한 방법 대비 AR 모델 피팅에 있어 최대 1600초의 계산 시간 절감을 이끌어내어 실시간 응용 분야에서 실현 가능하게 한다.
• 고확률로 $(1+\mathcal{O}(\varepsilon))$ 상대 오차 근사를 보장함으로써 이론적으로 강건함을 입증한다.
• LSAR가 생성한 PACF 플롯은 정확한 플롯과 매우 유사하며, 가스 센서 데이터에 대해 AR(16) 모델을 정확히 식별하는 데 성공했고, 반면 균일 샘플링은 정확한 차수를 탐지하지 못했다.
• 리지드 스코어 샘플링은 안정적이고 단조롭게 수렴하는 매개수 추정을 보였지만, 균일 샘플링은 작은 표본 크기에서 진동을 보이며 수렴하지 못했다.
• 샘플링 비용을 감안하더라도 LSAR는 정확한 방법보다 훨씬 빠르며, 정확도와 신뢰성 측면에서 균일 샘플링을 능가한다.
• LSAR의 계산 시간은 균일 샘플링과 유사하지만, 훨씬 뛰어난 추정 품질을 보여주어 실용적 효율성과 효과성을 확인한다.