[論文レビュー] LSAR: Efficient Leverage Score Sampling Algorithm for the Analysis of Big Time Series Data

Ali Eshragh, Fred Roosta+2 more|arXiv (Cornell University)|Nov 27, 2019

Statistical Methods and Inference参考文献 37被引用数 7

ひとこと要約

本稿では、大規模な時系列データにおける自己回帰（AR）モデルのリッジスコアを、ランダム化数値線形代数（RandNLA）を用いて、計算コストを抑えながら効率的に推定するアルゴリズムLSARを提案する。時間的構造を活用することで、高確率での誤差境界を保証しつつ、モデル次数の選定とパラメータ推定を高速化し、正確な手法と比較して最大1600秒の計算時間短縮を達成しながら、精度を維持する。

ABSTRACT

We apply methods from randomized numerical linear algebra (RandNLA) to develop improved algorithms for the analysis of large-scale time series data. We first develop a new fast algorithm to estimate the leverage scores of an autoregressive (AR) model in big data regimes. We show that the accuracy of approximations lies within $(1+\bigO{\varepsilon})$ of the true leverage scores with high probability. These theoretical results are subsequently exploited to develop an efficient algorithm, called LSAR, for fitting an appropriate AR model to big time series data. Our proposed algorithm is guaranteed, with high probability, to find the maximum likelihood estimates of the parameters of the underlying true AR model and has a worst case running time that significantly improves those of the state-of-the-art alternatives in big data regimes. Empirical results on large-scale synthetic as well as real data highly support the theoretical results and reveal the efficacy of this new approach.

研究の動機と目的

• 大規模な時系列データに対するARモデルのフィッティングにおける計算ボトル neck を解消すること、特に大規模なOLS問題が実行時間の大部分を占める点に焦点を当てる。
• 正確な計算のコストを回避しつつ、ARデータ行列におけるリッジスコアを近似する高速で構造に適応した手法を開発すること。
• パラメータ推定およびモデル次数の選定において、高確率での精度保証を満たす効率的なサンプリングベースのアルゴリズム（LSAR）を設計すること。
• 合成データおよび実世界の大規模時系列データを用いて、LSARの速度と精度を実証的に検証し、一様サンプリングおよび正確な手法を上回ること。

提案手法

• 自己回帰モデルの設計行列を、ランダム化数値線形代数（RandNLA）を用いて、重要な性質を保持したままより小さなスケッチに圧縮する。
• 時間的相関構造を活用することで、近似線形時間でARデータ行列のリッジスコアを近似する新しいアルゴリズムを開発する。
• 近似品質と理論的保証を向上させるために、一様サンプリングではなく非一様なリッジスコアサンプリングを採用する。
• 近似されたリッジスコアを用いてデータ行列の行をサンプリングし、より小さなスケッチ上で高速なOLS解を得る。
• LSARアルゴリズムは、スケッチされたOLS問題を解くことで、高確率での相対誤差境界を満たしながらARパラメータの最尤推定値を計算する。
• 理論的解析を用いて、最悪実行時間および誤差境界を導出し、高確率で$(1+\mathcal{O}(\varepsilon))$の近似精度を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 時間的構造を活用することで、正確な計算のコストを回避しつつ、ARモデルにおけるリッジスコアのサンプリングを効率的に計算できるか？
• RQ2 提案されたLSARアルゴリズムは、著しく短縮された実行時間で、理論的に保証された正確なパラメータ推定とモデル次数の選定を達成できるか？
• RQ3 大規模時系列データにおいて、LSARは一様サンプリングおよび正確な手法と比較して、精度、収束性、計算効率の点で優れているか？
• RQ4 特に一様サンプリングが収束しない小規模なサンプルサイズにおいても、LSARはパラメータ推定において安定性と収束性を維持できるか？
• RQ5 金融予測や気象モデリングなどの実世界の時間に敏感な応用において、LSARが実際の影響を及ぼすか？

主な発見

• LSARは、正確な手法と比較して、ARモデルのフィッティングに最大1600秒の計算時間短縮を達成し、時間に敏感な応用に実用的である。
• アルゴリズムは高確率で$(1+\mathcal{O}(\varepsilon))$の相対誤差近似を達成し、理論的堅牢性を保証する。
• LSARが生成したPACFプロットは正確なプロットと密接に一致しており、ガスセンサー時系列データに対してAR(16)モデルを正しく同定している。一方、一様サンプリングは正しい次数を同定できない。
• リッジスコアサンプリングは、パラメータ推定において安定的で単調な収束を示すが、一様サンプリングは小規模なサンプルサイズにおいて振動を示し、収束しない。
• サンプリングのコストを考慮しても、LSARは正確な手法よりも著しく高速であり、精度および信頼性の点で一様サンプリングを上回る。
• LSARの計算時間は一様サンプリングと同等であるが、推定品質が著しく優れているため、実用的な効率性と有効性が確認された。