[論文レビュー] High-dimensional vector autoregressive time series modeling via tensor decomposition

Di Wang, Yao Zheng+2 more|arXiv (Cornell University)|Sep 14, 2019

Tensor decomposition and applications参考文献 60被引用数 9

ひとこと要約

本稿では、3つのモード—変数、ラグ、時間—にわたり同時に次元削減を可能にするTucker分解を活用したテンソルベースのベクトル自己回帰（VAR）モデルを提案する。これにより、高次元時系列における効率的な推定が可能となる。低ランク構造とスパarsity誘導正則化を組み合わせることで、予測精度と解釈可能性が向上し、シミュレーションおよび実データ実験において、従来のVAR、DFM、RRR手法を上回る性能を発揮する。

ABSTRACT

The classical vector autoregressive model is a fundamental tool for multivariate time series analysis. However, it involves too many parameters when the number of time series and lag order are even moderately large. This paper proposes to rearrange the transition matrices of the model into a tensor form such that the parameter space can be restricted along three directions simultaneously via tensor decomposition. In contrast, the reduced-rank regression method can restrict the parameter space in only one direction. Besides achieving substantial dimension reduction, the proposed model is interpretable from the factor modeling perspective. Moreover, to handle high-dimensional time series, this paper considers imposing sparsity on factor matrices to improve the model interpretability and estimation efficiency, which leads to a sparsity-inducing estimator. For the low-dimensional case, we derive asymptotic properties of the proposed least squares estimator and introduce an alternating least squares algorithm. For the high-dimensional case, we establish non-asymptotic properties of the sparsity-inducing estimator and propose an ADMM algorithm for regularized estimation. Simulation experiments and a real data example demonstrate the advantages of the proposed approach over various existing methods.

研究の動機と目的

• 変数数およびラグ次数が中程度に大きい場合に、古典的高次元VARモデルにおけるパラメータ数の多さに対処すること。
• 低ランク回帰の制限を克服し、遷移テンソルの3つのモード（変数、ラグ、時間）に同時に低ランク制約を適用することで、1方向のみに制限される従来の低ランク回帰の限界を越えること。
• 要因行列へのスパarsityを課すことにより、高次元設定下でのモデルの解釈可能性と推定効率を向上させること。
• 正規直交性およびスパarsity制約の下で、低次元では逐次最小二乗法、高次元ではADMMを用いた計算的に実行可能な推定手順を開発すること。

提案手法

• VARモデルの遷移行列を3方向テンソルに再構成し、Tucker分解を用いて多次元的低ランク構造を活用する。
• テンソル化されたVARモデルにTucker分解を適用することで、変数、ラグ、時間の3方向にわたりパラメータ空間を制限する。
• 要因行列にℓ₁正則化を適用することでスパarsity誘導推定量を導入し、解釈可能性の向上と過学習の防止を図る。
• コアおよび要因行列に正規直交性制約を課した下で、低次元推定のための逐次最小二乗法を構築する。
• 高次元設定下での正則化推定問題を解くために、ADMMアルゴリズムを提案し、同時にℓ₁正則化と正規直交性制約を満たす。
• マクロ経済データにおけるモデル性能の評価にローリング予測手順を用い、DFM、RRR、正則化VAR手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 VAR遷移テンソルのTucker分解は、低ランク回帰が達成できる範囲を越えて、変数、ラグ、時間の3方向に同時に次元削減を可能にするか？
• RQ2 Tucker分解の要因行列にスパarsityを課すことで、高次元時系列におけるモデルの解釈可能性と推定効率にどのような影響を与えるか？
• RQ3 異なるモデル設定下における、最小二乗推定量およびスパarsity誘導推定量の漸近的および非漸近的性質は何か？
• RQ4 実マクロ経済データにおいて、提案されたテンソルベースVARモデルは、DFM、RRR、正則化VARモデルといった既存手法と比較して、予測精度に優れているか？

主な発見

• 実データ例において、Tucker分解とスパarsityを組み合わせたSHORR推定量は、すべての比較手法の中でℓ₂およびℓ∞ノルムの予測誤差が最小であった。
• MLRおよびSHORR推定量は、r=4のDFM、正則化VAR、非正則化RRRを著しく上回る予測精度を示し、3方向次元削減の利点を実証した。
• Tucker分解フレームワークにより、パラメータ数がN²Pからr₁r₂r₃ + (N−r₁)r₁ + (N−r₂)r₂ + (T−r₃)r₃に削減され、高次元設定下でのスケーラブルな推定が可能となった。
• ADMMアルゴリズムは、要因行列に同時にℓ₁正則化と正規直交性制約を課す計算課題を効果的に処理し、安定した収束を確保した。
• シミュレーションおよび実データの両方において、変数数およびラグ数が中程度に大きい状況下でも、本モデルはバイアスとバイアスの両面で優れた性能を維持し、既存手法を上回った。