[論文レビュー] Sparse transition matrix estimation for high-dimensional and locally stationary vector autoregressive models

Xin Ding, Ziyi Qiu+1 more|arXiv (Cornell University)|Apr 14, 2016

Sparse and Compressive Sensing Techniques参考文献 34被引用数 4

ひとこと要約

本稿は、高次元的で局所定常的なベクトル自己回帰（TV-VAR）モデルにおける時変遷移行列の推定のために、ハイブリッドなカーネルスムージングとℓ¹正則化手法を提案する。最適な収束速度を確立し、最小信号強度条件を要件としない弱い信号下でも、パターン回復における漸近的消滅する偽陽性および偽陰性率を証明する。

ABSTRACT

We consider the estimation of the transition matrix in the high-dimensional time-varying vector autoregression (TV-VAR) models. Our model builds on a general class of locally stationary VAR processes that evolve smoothly in time. We propose a hybridized kernel smoothing and $\ell^1$-regularized method to directly estimate the sequence of time-varying transition matrices. Under the sparsity assumption on the transition matrix, we establish the rate of convergence of the proposed estimator and show that the convergence rate depends on the smoothness of the locally stationary VAR processes only through the smoothness of the transition matrix function. In addition, for our estimator followed by thresholding, we prove that the false positive rate (type I error) and false negative rate (type II error) in the pattern recovery can asymptotically vanish in the presence of weak signals without assuming the minimum nonzero signal strength condition. Favorable finite sample performances over the $\ell^2$-penalized least-squares estimator and the unstructured maximum likelihood estimator are shown on simulated data. We also provide two real examples on estimating the dependence structures on financial stock prices and economic exchange rates datasets.

研究の動機と目的

• 高次元的かつ非定常な時系列における古典的VARモデルの限界を克服し、時変遷移行列をモデル化すること。
• 高次元VARモデルにおける次元の呪いを、遷移行列へのスパarsityと滑らかさの制約によって克服すること。
• 強い信号強度条件を要件としない、時変依存構造の一貫した推定を実現する手法を開発すること。
• 弱い信号下でも、グラフィカルパターン回復における漸近的消滅する偽陽性および偽陰性率を達成すること。
• 高次元的で局所定常的なVAR過程における推定と構造学習の統合フレームワークを提供すること。

提案手法

• 局所定常性を活用し、各時刻 $ t = i/n $ における時変遷移行列関数 $ A(t) $ の推定にカーネルスムージングを用いる。
• 遷移行列へのスパarsityを強制するために、$ A_i $ の最小二乗推定量にℓ¹正則化を適用する。
• 時間別チューニングを用いて、罰則付き最適化問題として定式化する：$ \hat{A}_i = \arg\min_{A} \| \mathbf{X}_i - A \mathbf{X}_{i-1} \|_F^2 + \lambda \| A \|_1 $。
• カーネル重みを損失関数に統合し、時系列に沿った推定行列の系列を滑らかにすること。
• 最終推定量に対するしきい値処理を用いて、時変依存ネットワークのグラフィカル構造を回復する。
• スパarsityと滑らかさの仮定の下で、集中不等式と行列ノルムの境界を用いて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityを仮定した場合、局所定常VARモデルにおける高次元的で時変遷移行列の推定が一貫して可能かどうか。
• RQ2 提案手法の推定量の最適収束速度は何か？ また、遷移行列関数の滑らかさにどのように依存するか。
• RQ3 最小非ゼロ信号強度を仮定しない状況でも、パターン回復における偽陽性および偽陰性率が漸近的に消滅するか。
• RQ4 有限標本下において、ハイブリッドカーネル-ℓ¹手法は標準的なℓ²正則化最小二乗推定量および非構造的MLE推定量よりも優れているか。
• RQ5 本手法は、実際の金融および経済時系列データにおいて、時変依存構造を効果的に回復できるか。

主な発見

• 提案手法の推定量は、遷移行列関数の滑らかさにのみ依存する収束速度を達成する。プロセスの次元に依存しない。
• 弱い信号下でも、パターン回復における偽陽性率（FPR）および偽陰性率（FNR）は漸近的に消滅する。最小信号強度条件を要件としない。
• 有限標本下では、ℓ²正則化最小二乗推定量および非構造的MLE推定量よりも推定誤差および構造回復の両面で優れる。
• しきい値処理を施した推定量に関して、FNRは $ 2^\beta L_d u_{\sharp}^\beta $ で有界であり、適切な滑らかさおよびスパarsity条件の下で $ u_{\sharp} \to 0 $ のとき消滅する。
• 理論的分析により、真の遷移行列がスパースかつ滑らかなクラス $ \mathcal{G}_\alpha(s, M_d) $ に属する限り、推定量が一貫性を保つことが確認された。
• 株価および為替レートの実データを用いた実験結果から、本手法が現実の高次元データにおける意味のある時変依存構造を回復できることを確認した。