[論文レビュー] High-Dimensional Low-Rank Tensor Autoregressive Time Series Modeling

Di Wang, Yao Zheng+1 more|arXiv (Cornell University)|Jan 12, 2021

Tensor decomposition and applications参考文献 38被引用数 11

ひとこと要約

本稿では、核ノルム正則化を用いたTucker分解を活用して、グローバルな貿易フローのような複雑な多次元時系列を効率的にモデル化する、高次元低ランクテンソル自己回帰（LRTAR）モデルを提案する。遷移テンソルにおける低ランク構造を活用することで、次元削減を大幅に実現しつつ、解釈可能な多次元動的因子モデルを可能にし、理論的保証と実世界データにおける優れた経験的性能を達成する。

ABSTRACT

Modern technological advances have enabled an unprecedented amount of structured data with complex temporal dependence, urging the need for new methods to efficiently model and forecast high-dimensional tensor-valued time series. This paper provides a new modeling framework to accomplish this task via autoregression (AR). By considering a low-rank Tucker decomposition for the transition tensor, the proposed tensor AR can flexibly capture the underlying low-dimensional tensor dynamics, providing both substantial dimension reduction and meaningful multi-dimensional dynamic factor interpretations. For this model, we first study several nuclear-norm-regularized estimation methods and derive their non-asymptotic properties under the approximate low-rank setting. In particular, by leveraging the special balanced structure of the transition tensor, a novel convex regularization approach based on the sum of nuclear norms of square matricizations is proposed to efficiently encourage low-rankness of the coefficient tensor. To further improve the estimation efficiency under exact low-rankness, a non-convex estimator is proposed with a gradient descent algorithm, and its computational and statistical convergence guarantees are established. Simulation studies and an empirical analysis of tensor-valued time series data from multi-category import-export networks demonstrate the advantages of the proposed approach.

研究の動機と目的

• 複雑な時系列的およびクロスセクショナル依存性を示す高次元・多次元テンソル時系列をモデル化する課題に対処すること。
• 遷移テンソルにおける低ランク構造を活用して、高次元テンソル自己回帰モデルの次元を低減すること。
• 高次元漸近的条件下で計算的に効率的かつ統計的に一貫性を持つ推定手法を開発すること。
• 係数テンソルのTucker分解を通じて、解釈可能な動的因子構造を提供すること。
• 多カテゴリー・多国別・多時系列の多次元性を有する実世界のグローバル貿易フローデータに対して、モデルの有効性を実証すること。

提案手法

• 係数テンソルのTucker分解を用いたテンソル自己回帰モデルを提案し、高次元テンソル時系列における低次元的ダイナミクスを表現する。
• 正方行列化された成分の核ノルムの和に基づく、新たな凸正則化法を導入し、遷移テンソルにおける低ランク構造を促進する。
• 正確な低ランク仮定下での効率性を向上させるために、勾配降下法を用いた非凸推定量を構築し、収束保証を付与する。
• 計算的実行可能性を確保するため、(T)SSN推定量の解法にADMMアルゴリズムを採用する。
• 近似的な低ランク設定下で、凸および非凸推定量の非漸近的統計的性質を導出する。
• 行列および多次元テンソル自己回帰の既存フレームワークと接続し、より柔軟かつ簡素な一般化としてのモデルの位置づけを示す。

Figure 1: Illustration of vector-, matrix- and tensor-valued time series $\mathbf{y}_{t}=(ex_{1,t},im_{1,t},\dots,ex_{N,t},im_{N,t})^{\top}$ , $\mathbf{Y}_{t}=(ex_{i,j,t})_{1\leq i,j\leq N}$ , and $\mbox{\boldmath$\mathscr{Y}$}_{t}=(ex_{i,j,k,t})_{1\leq i,j\leq N,1\leq k\leq K}$ in the context of mo

実験結果

リサーチクエスチョン

• RQ1 遷移テンソルの低ランクTucker分解は、高次元テンソル自己回帰モデルにおける次元削減を効果的に実現できるか？
• RQ2 行列化された成分の核ノルムの和による凸正則化は、係数テンソルにおける低ランク構造をどのように促進するか？
• RQ3 正確な低ランクテンソル自己回帰に対する非凸推定量の統計的および計算的性質は何か？
• RQ4 MARおよびMTARのような既存モデルと比較して、提案モデルはモデルの簡素性および予測精度の点で優れているか？
• RQ5 本モデルは、グローバル貿易フローのような実世界のテンソル時系列データにおいて、意味のある多次元動的因子構造を解明できるか？

主な発見

• 核ノルムの和に基づく提案凸推定量は、近似的な低ランク仮定下で非漸近的誤差バウンドを達成し、統計的一致性を保証する。
• 勾配降下法を用いた非凸推定量は、正確な低ランク条件の下でより高速な収束と向上した推定精度を達成し、計算的および統計的収束保証を有する。
• シミュレーション研究では、高次元設定下で標準的なVARおよびMARモデルよりも、予測精度およびパラメータ推定の点で優れた性能を示す。
• 多カテゴリー輸出入ネットワークに対する実証分析により、モデルが顕著な次元削減を伴いながらも、複雑な国別・製品別貿易ダイナミクスを捉える能力を確認した。
• 本モデルは、行列自己回帰（MAR）および多次元テンソル自己回帰（MTAR）モデルの一般化であることが示され、それらを特別なケースとして包含する。
• Tuckerに基づく分解により、国・製品・時系列などの複数モードにわたる解釈可能な動的要因が得られ、モデルの透明性が向上する。

Figure 2: Average estimation error for TSSN, SSN, MN, and SN estimators for data generated with different $d$ , $p_{i}$ ’s and Tucker ranks in experiment 1