[論文レビュー] Generalization error bounds for stationary autoregressive models

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Mar 4, 2011

Statistical Methods and Inference参考文献 15被引用数 7

ひとこと要約

この論文は、正則化を追加せずに、定常性を活用してモデルの複雑さを制御することで、定常な単変量自己回帰（AR）モデルの有限標本一般化誤差バウンドを確立する。定常性そのものが、PACスタイルのリスクバウンドを導出するのに十分であることを示し、モデル選択のための構造的リスク最小化を可能にする。これは、米国10年物国債利回り予測において、二乗誤差の95％信頼区間が0.0079である最適なAR(1)モデルをもたらす。

ABSTRACT

We derive generalization error bounds for stationary univariate autoregressive (AR) models. We show that imposing stationarity is enough to control the Gaussian complexity without further regularization. This lets us use structural risk minimization for model selection. We demonstrate our methods by predicting interest rate movements.

研究の動機と目的

• 定常な単変量自己回帰（AR）モデルの有限標本一般化誤差バウンドを導出すること。
• 定常性そのものが、追加の正則化を必要とせずにモデルの複雑さを制御することを示すこと。
• PACスタイルのリスクバウンドを提供することで、時系列におけるモデル選択のための構造的リスク最小化を可能にすること。
• 10年物国債定常利回りを用いた実世界の金利予測に理論的バウンドを適用すること。
• AICのような従来のモデル選択手法が、提案されたリスクバウンド手法と比較して過学習を起こすことを示すこと。

提案手法

• ARプロセスの定常性を活用して、モデルクラスのガウス的複雑さを制約し、明示的な正則化を回避する。
• 一様エルゴード定理とβ-混合係数を用いて、i.i.d.から弱い依存性を持つ時系列への一般化バウンドの拡張を行う。
• 確率的リスクバウンド $ R(\widehat{f}) \leq \widehat{R}_n(\widehat{f}) + \delta(C(\mathcal{F}), n, \eta) $ を導出する。ここで $ \delta $ はモデルの複雑さ、標本サイズ、信頼水準に依存する。
• 訓練誤差の最小化ではなく、最小リスクバウンドを持つモデルを選択する構造的リスク最小化を採用する。
• 10年物国債利回りデータに対して、ガウスAR(q)近似に基づきβ-混合係数を推定し、リスクバウンドを計算する。
• ロバスト性を高めるために損失関数を0.05で切り詰め、一般化バウンドにc-Lipschitz補正を適用する。

実験結果

リサーチクエスチョン

• RQ1 正則化を追加せずに、定常ARモデルの一般化誤差バウンドを導出できるか？
• RQ2 定常性そのものが、有限標本リスクバウンドを可能にする十分なモデル複雑さの制御を提供するか？
• RQ3 提案されたリスクバウンドは、実際のAICなどの従来のモデル選択基準と比較してどのように異なるか？
• RQ4 理論的リスクバウンドは、金利予測のような実世界の時系列予測に効果的に適用可能か？
• RQ5 リスクバウンドと訓練誤差最小化の両方を用いたモデル次数選択の影響は何か？

主な発見

• ARプロセスの定常性が、ガウス的複雑さを制御するのに十分であり、一般化誤差バウンドにおいて明示的な正則化を不要にする。
• 提案されたリスクバウンドは、米国10年物国債利回り予測においてAR(1)モデルを最適と特定するが、AICはAR(36)を選択しており、AICによる著しい過学習が示された。
• 95％の信頼水準で、AR(1)モデルの一般化誤差は、真のデータ生成過程にかかわらず、二乗誤差で0.0079以内に制限される。
• 訓練誤差はモデル次数が増加するにつれて単調に減少するが、リスクバウンドはp=1で明確な最小値を示し、高次モデルの過学習が顕著に現れる。
• AIC や交差検証とは異なり、この手法は直接予測リスクを制御する理論的根拠に基づいた有限標本バウンドを提供する。
• 損失関数の切り詰めに頼るが、最大観測損失（データ内で0.034）を超える限り、バウンドは損失カット値の選択にほとんど感応しない。