[論文レビュー] A Finite-Sample Deviation Bound for Stable Autoregressive Processes

Rodrigo A. González, Cristian R. Rojas|arXiv (Cornell University)|Dec 17, 2019

Statistical Methods and Inference参考文献 19被引用数 4

ひとこと要約

本稿では、行列ノルムと集中不等式を用いて、標本共分散行列と母共分散行列の乖離を定量化することで、$ n $ 階の安定な自己回帰過程に対する有限標本の乖離バウンドを導出する。主な貢献は、標本サイズ $ N $、システム次元 $ n $、ノイズ分散 $ \sigma^2 $ に強く依存する高確率バウンドであり、モデルの安定性と設計行列の構造に明示的な依存関係を有する。

ABSTRACT

In this paper, we study non-asymptotic deviation bounds of the least squares estimator in Gaussian AR($n$) processes. By relying on martingale concentration inequalities and a tail-bound for $χ^2$ distributed variables, we provide a concentration bound for the sample covariance matrix of the process output. With this, we present a problem-dependent finite-time bound on the deviation probability of any fixed linear combination of the estimated parameters of the AR$(n)$ process. We discuss extensions and limitations of our approach.

研究の動機と目的

• 安定な自己回帰過程における標本共分散行列と母共分散行列の乖離に関する非漸近的確率的バウンドを確立すること。
• 一般のノイズと安定性条件の下で、AR(n) モデルの有限標本における推定誤差を定量化すること。
• モデルパラメータと標本サイズを組み込んだ、経験的共分散と真の共分散の乖離に関する高確率上界を導出すること。
• モデルの安定性、ノイズ分散、標本サイズが自己回帰推定量の有限標本性能に与える影響を分析すること。
• 設計行列の構造と自己回帰係数行列の固有値特性を考慮した、厳密で非漸近的な乖離バウンドを提供すること。

提案手法

• 漸近的共分散を表す長期間共分散行列 $ \overline{V} = \sigma^2 \sum_{i=0}^\infty A^i B B^\top (A^\top)^i $ を定義する。
• 標本共分散行列の下限と上限の包絡線を捉えるために、$ \epsilon \sigma^2 \sum_{i=0}^\infty A^i (A^\top)^i $ でスケーリングされた $ \overline{V} $ の摂動を用いて、データ依存のバウンド $ V_{\text{dn}} $ と $ V_{\text{up}} $ を構築する。
• サブガウスおよびサブエキスポネンシャル過程の集中不等式から導出された4つの指数的項を組み合わせた、乖離確率バウンド $ \delta(\epsilon, N) $ を導入する。
• 全状態空間共分散行列から関連する共分散部分行列を抽出するために、$ \begin{bmatrix} I_n & 0 \end{bmatrix} $ を用いた行列射影を適用する。
• 行列ノルムと固有値半径の議論を用いて、乖離項の増大を制御し、モデル仮定のもとで安定性を保証する。
• サブガウスおよびサブエキスポネンシャルな集中の尾部バウンドを組み合わせ、大きな乖離が発生する確率に関する合成バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 AR(n) 過程における標本共分散行列の推定誤差は、有限標本においてどのように振る舞うか？
• RQ2 モデルの安定性とサブガウスノイズの下で、経験的共分散はどの程度の速度で真の共分散に収束するか？
• RQ3 係数行列 $ A $、ノイズ分散 $ \sigma^2 $、標本サイズ $ N $ などのモデルパラメータが、乖離確率にどのように影響を与えるか？
• RQ4 非漸近的かつシステムの固有値特性に敏感な、乖離に関する高確率バウンドを導出可能か？
• RQ5 摂動パラメータ $ \epsilon $ は、乖離バウンドの信頼水準を制御するために果たす役割は何か？

主な発見

• 乖離確率 $ \delta(\epsilon, N) $ は $ N - n $ に対して指数的に減少し、大標本では標本共分散が真の値の周囲に強く集中することを示唆する。
• バウンド $ \delta(\epsilon, N) $ は4つの項を含む：サブガウス集中から得られる1項、サブエキスポネンシャル尾部挙動から得られる1項、係数ベクトル $ \theta $ の $ \ell^2 $ ノルムから得られる1項、および $ \sqrt{N} $ スケーリングされた指数的減衰から得られる1項。
• 上界 $ V_{\text{up}} $ と下界 $ V_{\text{dn}} $ は、経験的共分散と真の共分散の乖離の範囲を捉えるように構築されており、$ (N - n) $ でスケーリングされている。
• AR 過程が安定であるという仮定のもとで、$ \overline{V} $ の無限級数が収束することを保証するため、バウンドは有効である。
• バウンドは非漸近的であり、$ \mathbb{E}\{y_1^2\} $、$ \|\theta\|_2 $、ノイズ分散 $ \sigma^2 $ に明示的に依存しており、モデルとデータの特性を反映している。
• 結果として、モデルの安定性と標本サイズに明示的な依存関係を有する、AR(n) 過程の共分散行列の有限標本信頼領域が得られる。