[论文解读] Generalization error bounds for stationary autoregressive models

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Mar 4, 2011

Statistical Methods and Inference参考文献 15被引用 7

一句话总结

该论文通过利用平稳性来控制模型复杂度，无需额外正则化，为平稳单变量自回归（AR）模型建立了有限样本泛化误差界。研究表明，仅靠平稳性即可推导出类似PAC的风险界，从而实现结构风险最小化以进行模型选择——在95%置信水平下，对美国10年期国债利率预测的平方误差泛化误差界为0.0079。

ABSTRACT

We derive generalization error bounds for stationary univariate autoregressive (AR) models. We show that imposing stationarity is enough to control the Gaussian complexity without further regularization. This lets us use structural risk minimization for model selection. We demonstrate our methods by predicting interest rate movements.

研究动机与目标

• 推导平稳单变量自回归（AR）模型的有限样本泛化误差界。
• 证明仅靠平稳性即可控制模型复杂度，从而无需额外正则化。
• 通过提供类似PAC的风险界，实现时间序列模型选择的结构风险最小化。
• 将理论界应用于实际的利率预测，使用10年期国债定息利率数据。
• 证明传统模型选择方法（如AIC）相比所提出的基于风险界的方案存在过拟合现象。

提出的方法

• 利用AR过程的平稳性来约束模型类的高斯复杂度，避免显式正则化。
• 应用一致遍历定理和β-混合系数，将泛化误差界从i.i.d.情形推广至弱依赖时间序列。
• 推导出形式为 $ R(\widehat{f}) \leq \widehat{R}_n(\widehat{f}) + \delta(C(\mathcal{F}), n, \eta) $ 的概率风险界，其中 $ \delta $ 依赖于模型复杂度、样本大小和置信水平。
• 采用结构风险最小化策略选择风险界最小的模型，而非最小化训练误差。
• 在10年期国债利率数据上，通过高斯AR(q)近似估计β-混合系数，以计算风险界。
• 为增强鲁棒性，将损失函数截断至0.05，并对泛化误差界应用c-Lipschitz修正。

实验结果

研究问题

• RQ1 能否在不依赖额外正则化的情况下，为平稳AR模型推导出泛化误差界？
• RQ2 仅靠平稳性是否足以控制模型复杂度，以实现有限样本风险界？
• RQ3 所提出的基于风险界的方法在实践中与传统模型选择准则（如AIC）相比表现如何？
• RQ4 该理论风险界能否有效应用于真实世界的时间序列预测，如利率预测？
• RQ5 在使用风险界与训练误差最小化进行模型阶数选择时，其影响有何不同？

主要发现

• AR过程的平稳性足以控制高斯复杂度，从而在泛化误差界中无需显式正则化。
• 所提出的风险界选择AR(1)模型为美国10年期国债利率预测的最优模型，而AIC选择AR(36)，表明AIC存在严重过拟合。
• 在95%置信水平下，AR(1)模型的泛化误差在平方误差意义下被限制在0.0079以内，且不依赖于真实数据生成过程。
• 训练误差随模型阶数单调递减，但风险界在p=1处显示出明确的最小值，凸显了高阶模型的过拟合问题。
• 该方法提供了理论基础坚实、有限样本下直接控制预测风险的界，与时间序列中的AIC或交叉验证不同。
• 该界对损失函数截断具有鲁棒性，且对损失截断值的选择不敏感，只要其超过最大观测损失（数据中为0.034）即可。