[论文解读] LSAR: Efficient Leverage Score Sampling Algorithm for the Analysis of Big Time Series Data

Ali Eshragh, Fred Roosta+2 more|arXiv (Cornell University)|Nov 27, 2019

Statistical Methods and Inference参考文献 37被引用 7

一句话总结

本文提出LSAR，一种基于随机数值线性代数（RandNLA）的随机化算法，可高效估计大规模时间序列数据中自回归（AR）模型的杠杆度分数。通过利用时间相关结构，LSAR在高概率误差界下加速了模型阶数选择与参数估计，与精确方法相比，计算时间最多减少1600秒，同时保持高精度。

ABSTRACT

We apply methods from randomized numerical linear algebra (RandNLA) to develop improved algorithms for the analysis of large-scale time series data. We first develop a new fast algorithm to estimate the leverage scores of an autoregressive (AR) model in big data regimes. We show that the accuracy of approximations lies within $(1+\bigO{\varepsilon})$ of the true leverage scores with high probability. These theoretical results are subsequently exploited to develop an efficient algorithm, called LSAR, for fitting an appropriate AR model to big time series data. Our proposed algorithm is guaranteed, with high probability, to find the maximum likelihood estimates of the parameters of the underlying true AR model and has a worst case running time that significantly improves those of the state-of-the-art alternatives in big data regimes. Empirical results on large-scale synthetic as well as real data highly support the theoretical results and reveal the efficacy of this new approach.

研究动机与目标

• 为解决在大规模时间序列数据上拟合AR模型时存在的计算瓶颈问题，其中大规模普通最小二乘（OLS）问题主导运行时间。
• 开发一种快速、结构感知的方法，用于近似AR数据矩阵中的杠杆度分数，避免精确计算的成本。
• 设计一种高效的基于采样的算法（LSAR），在参数估计与模型阶数选择中保证高概率下的准确性。
• 通过合成数据与真实世界的大规模时间序列数据，实证验证LSAR在速度与准确性方面优于均匀采样与精确方法。

提出的方法

• 利用随机数值线性代数（RandNLA）将AR模型的设计矩阵压缩为更小的压缩表示，同时保留关键属性。
• 提出一种新算法，通过利用时间相关性结构，在近线性时间内近似AR数据矩阵的杠杆度分数。
• 采用非均匀的杠杆度分数采样，而非均匀采样，以提升近似质量与理论保证。
• 将近似得到的杠杆度分数用于从数据矩阵中采样行，从而在更小的压缩表示上实现快速OLS求解。
• LSAR算法通过压缩后的OLS问题计算AR参数的最大似然估计，具有高概率的相对误差界。
• 采用理论分析推导最坏情况下的运行时间与误差界，表明其在高概率下可实现$(1+\mathcal{O}(\varepsilon))$的近似精度。

实验结果

研究问题

• RQ1 能否通过利用时间结构，高效计算AR模型的杠杆度分数，从而避免精确计算的开销？
• RQ2 所提出的LSAR算法是否能在显著减少运行时间的前提下，实现可证明准确的参数估计与模型阶数选择？
• RQ3 在大规模时间序列上，LSAR与均匀采样及精确方法相比，在准确性、收敛性与计算效率方面表现如何？
• RQ4 LSAR是否能在不同样本规模下保持参数估计的稳定性和收敛性，尤其在均匀采样无法收敛的情况下？
• RQ5 LSAR在金融预测或气象建模等实际时间敏感应用中的实际影响是什么？

主要发现

• 与精确方法相比，LSAR将AR模型拟合的计算时间最多减少了1600秒，使其适用于时间敏感的应用。
• 该算法以高概率实现了对杠杆度分数的$(1+\mathcal{O}(\varepsilon))$相对误差近似，确保了理论鲁棒性。
• LSAR生成的偏自相关函数（PACF）图与精确图高度一致，能正确识别气体传感器数据中的AR(16)模型，而均匀采样则未能检测到正确阶数。
• 杠杆度分数采样在参数估计中表现出稳定且单调的收敛性，而均匀采样在小样本规模下则出现振荡且无法收敛。
• 尽管采样存在成本，LSAR仍显著快于精确方法，且在准确性和可靠性方面优于均匀采样。
• LSAR的计算时间与均匀采样相当，但估计质量显著更优，证实了其在实际应用中的高效性与有效性。