[論文レビュー] On Multivariate Singular Spectrum Analysis and its Variants

Anish K. Agarwal, Abdullah Alomar+1 more|arXiv (Cornell University)|Jun 24, 2020

Statistical and numerical algorithms被引用数 4

ひとこと要約

本稿は、空間的・時系列的要因モデルの下で、低ランクヘンケル行列構造と特異値しきい値処理を活用した、多変量特異スペクトル分析（mSSA）の新しい変種を提案する。この手法は、補完およびアウトオブサンプル予測の両方において、予測平均二乗誤差が $1/\sqrt{\min(N,T)T}$ のスケーリングを達成する。従来のSSA（$1/\sqrt{T}$）および行列推定法（$1/\min(N,T)$）に比べ、時系列的および系列間の構造を活用することで性能が向上する。

ABSTRACT

We introduce and analyze a variant of multivariate singular spectrum analysis (mSSA), a popular time series method to impute and forecast a multivariate time series. Under a spatio-temporal factor model we introduce, given $N$ time series and $T$ observations per time series, we establish prediction mean-squared-error for both imputation and out-of-sample forecasting effectively scale as $1 / \sqrt{\min(N, T )T}$. This is an improvement over: (i) $1 /\sqrt{T}$ error scaling of SSA, the restriction of mSSA to a univariate time series; (ii) $1/\min(N, T)$ error scaling for matrix estimation methods which do not exploit temporal structure in the data. The spatio-temporal model we introduce includes any finite sum and products of: harmonics, polynomials, differentiable periodic functions, and Holder continuous functions. Our out-of-sample forecasting result could be of independent interest for online learning under a spatio-temporal factor model. Empirically, on benchmark datasets, our variant of mSSA performs competitively with state-of-the-art neural-network time series methods (e.g. DeepAR, LSTM) and significantly outperforms classical methods such as vector autoregression (VAR). Finally, we propose extensions of mSSA: (i) a variant to estimate time-varying variance of a time series; (ii) a tensor variant which has better sample complexity for certain regimes of $N$ and $T$.

研究の動機と目的

• 欠損データおよびノイズが存在する下での時系列補完および予測のための多変量特異スペクトル分析（mSSA）の厳密な有限標本解析を提供すること。
• 時系列的および系列間相関を活用することで、既存の手法を上回る理論的誤差境界を確立すること。
• 調和関数、多項式、周期的関数、および Hölder 連続関数を捉える空間的・時系列的要因モデルを導入すること。
• 時変分散推定およびより良い標本複雑性を実現するテンソルベースのmSSAのためのアルゴリズム的拡張を開発すること。

提案手法

• 時系列データからヘンケル行列を構築し、特異値しきい値処理（SVT）を適用することで低ランク構造を回復するmSSAの変種を提案する。
• 各時系列が潜在的成分の積の和として表される空間的・時系列的要因モデルを採用し、低ランクテンソルとして表現可能にする。
• 時系列を行列形式に変換するためのページ・トゥ・ヘンケル変換を用い、行列推定に適した構造化された形式に変換する。
• 高次元行列推定技術、特に特異値しきい値処理（HSTVT）を用いて、欠損またはノイズのある観測値を回復する。
• 多変量時系列を低ランクテンソルとしてモデル化するmSSAのテンソル版（tSSA）を導入し、特定の条件下で標本複雑性を向上させる。
• コアのmSSAフレームワークを拡張して条件付き異分散性をモデル化することで、時変分散の推定手法を開発する。

実験結果

リサーチクエスチョン

• RQ1 一般の空間的・時系列的要因モデル、欠損データおよびノイズが存在する下で、mSSAの理論的有限標本解析を確立できるか？
• RQ2 提案されたmSSAの変種は、古典的SSAおよび行列推定法よりも優れた誤差スケーリングを達成するか？
• RQ3 提案されたmSSAの変種は、補完および予測タスクにおいて、DeepAR や LSTM などのディープラーニングベースラインと比較してどのように性能を発揮するか？
• RQ4 mSSAフレームワークは、時系列の時変分散を推定するために拡張可能か？
• RQ5 テンソル版mSSA（tSSA）は、高次元設定において標準的なmSSAに比べ、より良い標本複雑性を達成できるか？

主な発見

• 提案されたmSSAの変種は、予測平均二乗誤差が $1/\sqrt{\min(N,T)T}$ のスケーリングを達成し、単変量SSAの $1/\sqrt{T}$ に比べて向上する。
• $N = o(T)$ の状態では、mSSAの変種は誤差スケーリング $\tilde{\Theta}(1/\sqrt{NT})$ を達成し、標準的な行列推定法の $\tilde{\Theta}(1/N)$ に比べて漸近的に優れている。
• $T = o(N)$ の状態では、mSSAの変種は $\tilde{\Theta}(1/T)$ の誤差を達成し、行列推定法およびtSSAを上回る。
• 実験的結果から、本手法はDeepAR や LSTM などの最先端のニューラルネットワークモデルと同等の性能を示す。
• テンソル版mSSA（tSSA）は、$N$ が $T$ に対して小さい場合に特に、標準的なmSSAに比べてより良い標本複雑性を達成する。
• 時変分散推定のための手法は、時系列における非定常な条件付き異分散性をうまく捉えており、mSSAの適用範囲を拡張している。