[論文レビュー] A Survey of Estimation Methods for Sparse High-dimensional Time Series Models

Sumanta Basu, David S. Matteson|arXiv (Cornell University)|Jul 30, 2021

Statistical Methods and Inference参考文献 69被引用数 4

ひとこと要約

この論文は、スパースな高次元時系列モデルのlassoベース推定法をサーベイし、特に確率的回帰と自己回帰ベクトル（VAR）に焦点を当て、限られた標本で大きな依存構造を持つシステムを推定する課題に対処する。HVARモデルにおける階層的ラグペナルティが、標準のlasso-VARおよびベンチマークモデルよりも予測精度を著しく向上させることを示しており、HVAR-Eは平均二乗予測誤差（MSFE = 0.950）が最小である。

ABSTRACT

High-dimensional time series datasets are becoming increasingly common in many areas of biological and social sciences. Some important applications include gene regulatory network reconstruction using time course gene expression data, brain connectivity analysis from neuroimaging data, structural analysis of a large panel of macroeconomic indicators, and studying linkages among financial firms for more robust financial regulation. These applications have led to renewed interest in developing principled statistical methods and theory for estimating large time series models given only a relatively small number of temporally dependent samples. Sparse modeling approaches have gained popularity over the last two decades in statistics and machine learning for their interpretability and predictive accuracy. Although there is a rich literature on several sparsity inducing methods when samples are independent, research on the statistical properties of these methods for estimating time series models is still in progress. We survey some recent advances in this area, focusing on empirically successful lasso based estimation methods for two canonical multivariate time series models - stochastic regression and vector autoregression. We discuss key technical challenges arising in high-dimensional time series analysis and outline several interesting research directions.

研究の動機と目的

• 時系列の自己相関が存在する状況下で、スパースな高次元時系列モデルを推定するための最近の手法的および理論的進展をレビューすること。
• 限られたステーションリティ（定常）観測値のもとで、高次元システムにおける一貫性のある構造的推定の課題に対処すること。
• スパース推定と予測性能の両方を向上させるために、階層的ラグに基づくペナルティ構造を導入したVARモデルの性能を評価すること。
• 高次元時系列解析における未解決の理論的およびモデリング的課題（例：チューニングパラメータの選択、不確実性の評価）を特定すること。
• マクロ経済学、ファイナンス、ゲノム、神経科学など、スパースモデリングがシステムダイナミクスの解釈可能な推論を可能にする分野における応用を強調すること。

提案手法

• 高次元時系列モデル、特に確率的回帰とVARにlasso（最小絶対値収縮および選択作用素）を適用し、係数推定におけるスパarsity（スパarsity）を誘導する。
• 時系列の自己相関とラグ別スパarsityを組み込むために、階層的ラグベースペナルティ構造（HVAR_C：成分別、HVAR_O：自身/他者、HVAR_E：要素別）を導入する。
• 1ステップ先の平均二乗予測誤差（MSFE）を最小化する基準に基づき、拡張ウィンドウ交差検証手順を用いてチューニングパラメータを決定する。
• モデルのフィッティングと可視化にはbigtime Rパッケージを用い、ラグ行列のヒートマップや有向ネットワーク図を用いて推定されたラグ・リード関係を表現する。
• 実世界のデータにこの手法を適用し、米国スーパーマーケットチェーンの16カテゴリの週次販売データ（T=76）を用いる。
• Out-of-sample MSFEを用いて、標準のlasso-VAR、ランダムウォーク、およびサンプル平均のベンチマークとモデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 限られた標本で自己相関が存在する高次元時系列モデルに対して、lassoベース推定法をどのように適合させることができるか？
• RQ2 高次元VARモデルにおける異なる階層的ラグペナルティ構造（HVAR_C、HVAR_O、HVAR_E）の相対的な予測性能はどのように異なるか？
• RQ3 実世界の経済・金融データにおいて、VARモデルのスパース推定は、非スパースまたは標準のlasso-VARアプローチよりも予測精度を向上させることができるか？
• RQ4 特に非ガウス分布、非定常過程、長記憶過程を想定した場合に、時系列の自己相関下でのスパース推定の漸近的理論を構築する上での主な技術的課題は何か？
• RQ5 構造的情報とグラフィカルモデリングフレームワークを統合することで、多変量時系列におけるラグ付き条件付き独立性をよりよく捉えることは可能か？

主な発見

• Dominick’s販売データセットにおいて、HVAR_E手法が全評価手法の中で最小のOut-of-sample平均二乗予測誤差（MSFE = 0.950）を達成した。
• HVAR_C、HVAR_O、HVAR_Eのすべての手法が、標準のlasso-VAR（MSFE = 1.120）、サンプル平均（MSFE = 1.174）、およびランダムウォークモデル（MSFE = 3.785）を著しく上回った。
• 推定されたHVAR_Eモデルはスパース構造を示しており、ラグ行列の大部分の非対角成分が0に推定され、特にFrozen DinnersとFrozen Entreesの間で強い関係が観察された。
• ネットワーク可視化により、特定の製品カテゴリ間で高い結合性を示す比較的スパースな有向グラフが得られ、意味のあるラグ・リード関係が裏付けられた。
• 各MSFE推定値の近似標準誤差は約0.091であり、HVAR手法間の性能差に低ばらつきがあることを示している。
• 本研究は、スパース推定に階層的ラグ構造を組み込むことで、高次元時系列モデリングにおける解釈可能性と予測精度の両方を向上させられることを示している。