[論文レビュー] Finite Time Analysis of Vector Autoregressive Models under Linear Restrictions

Yao Zheng, Guang Cheng|arXiv (Cornell University)|Nov 26, 2018

Matrix Theory and Algorithms参考文献 3被引用数 4

ひとこと要約

本稿は、線形制約下でのベクトル自己回帰モデルにおける通常最小二乗推定の非漸近的有限時刻解析を展開し、安定、不安定、わずかに爆発的過程をカバーする。制約は次元削減によるものだけでなく、制約数に従って減少するスケール係数を通じて推定誤差を低減することを示し、段階的転移は遷移行列Aの最小特異値によって支配される。

ABSTRACT

This paper develops a unified finite-time theory for the ordinary least squares estimation of possibly unstable and even slightly explosive vector autoregressive models under linear restrictions, with the applicable region $ρ(A)\leq 1+c/n$, where $ρ(A)$ is the spectral radius of the transition matrix $A$ in the \VAR(1) representation, $n$ is the time horizon and $c>0$ is a universal constant. The linear restriction framework encompasses various existing models such as banded/network vector autoregressive models. We show that the restrictions reduce the error bounds via not only the reduced dimensionality but also a scale factor resembling the asymptotic covariance matrix of the estimator in the fixed-dimensional setup: as long as the model is correctly specified, this scale factor is decreasing in the number of restrictions. It is revealed that the phase transition from slow to fast error rate regimes is determined by the smallest singular value of $A$, a measure of the least excitable mode of the system. The minimax lower bounds are derived across different regimes. The developed non-asymptotic theory not only bridges the theoretical gap between stable and unstable regimes but precisely characterizes the effect of restrictions and its interplay with model parameters. Simulations support our theoretical results.

研究の動機と目的

• 安定および不安定なベクトル自己回帰（VAR）モデルの理論的ギャップを埋めるために、統一的な有限時刻解析フレームワークを構築すること。
• バンド型またはネットワーク構造のスパarsityを含む線形制約が、高次元VARモデルにおける推定誤差に与える影響を調査すること。
• モデルの安定性（固有値半径ρ(A)）と制約の推定精度への影響の相互作用を特定すること。
• 近似単位根およびわずかに爆発的過程を含む、さまざまな安定性領域におけるミニマックス下界を導出すること。
• 最小特異値が、遅い誤差率領域と速い誤差率領域の間の段階的転移を支配することを確立すること。

提案手法

• メンデルソン（2014）およびシンチャヴィッチら（2018）にインspiredされた一般化されたスモールボール法に基づく非漸近的・非混合的アプローチを採用する。
• 線形制約フレームワーク下での通常最小二乗推定器を分析：𝒞 vec(Aᵀ) = μ、ここで𝒞とμは既知である。
• 推定誤差の境界を導出するための主要な安定性条件として、スペクトル半径ρ(A) ≤ 1 + c/nを採用し、不安定およびわずかに爆発的過程の解析を可能にする。
• 制約数に従って減少するスケール係数を誤差境界に取り入れ、推定効率の向上を反映する。
• 経験過程理論と集中不等式を用いて、モデル間のカルバック・ライブラー距離を評価し、ミニマックス下界の導出を可能にする。
• 体積的議論およびパッキング議論を用いてテストクラスを構築し、推定誤差の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 線形制約は、高次元VARモデルにおけるOLS推定の有限標本誤差境界にどのように影響するか？
• RQ2 固有値半径ρ(A)は、特にρ(A) = 1に近い領域で、推定誤差率を決定づける役割を果たすか？
• RQ3 遷移行列Aの最小特異値は、遅い誤差率領域と速い誤差率領域の間の段階的転移をどのように支配するか？
• RQ4 ミニマックス下界は、線形制約下での安定、不安定、わずかに爆発的VAR過程を統一的に扱うことができるか？
• RQ5 次元削減を超えて、制約は推定誤差をどの程度低減させるか？

主な発見

• 線形制約下でのOLS推定の誤差境界には、制約数に従って減少するスケール係数が含まれており、次元削減を超えて推定精度が向上することを示す。
• 遅い誤差率領域から速い誤差率領域への段階的転移は、スペクトル半径ではなく、遷移行列Aの最小特異値によって決定づけられる。
• ρ(A) ∈ [1, 1 + c/n] の場合、成長係数γₙ(ρ̄)の逆数はC₂/nで下から抑えられ、誤差率が(m/n)¹ᐟ²のオーダーであることが示される。ここでmは制約数である。
• ρ(A) < 1 の場合、誤差境界は(1 − ρ(A)²)m/nに比例し、ρ(A) → 1 に近づくにつれて性能が向上することが示される。
• ρ(A) > 1 + c/n の場合、誤差境界は(ρ(A)² − 1)m/nに比例し、指数的減衰因子ρ(A)⁻ⁿを伴うため、爆発的性質が強くなるにつれて誤差が増大する。
• ミニマックス下界は、すべての安定性領域において導出された誤差率が統計的に最適であることを確認する。