[论文解读] Nonparametric risk bounds for time-series forecasting

Daniel J. McDonald, Cosma Rohilla Shalizi+1 more|arXiv (Cornell University)|Dec 3, 2012

Monetary Policy and Economic Impact被引用 6

一句话总结

本文利用泛化误差理论，为时间序列预测模型（如ARMA、VAR和线性状态空间模型）推导出非渐近、非参数的风险界。其提供了基于样本内表现和模型复杂度（通过VC维衡量）的高概率预测风险界，使模型选择在不依赖渐近理论或强分布假设的情况下依然稳健。

ABSTRACT

We derive generalization error bounds for traditional time-series forecasting models. Our results hold for many standard forecasting tools including autoregressive models, moving average models, and, more generally, linear state-space models. These non-asymptotic bounds need only weak assumptions on the data-generating process, yet allow forecasters to select among competing models and to guarantee, with high probability, that their chosen model will perform well. We motivate our techniques with and apply them to standard economic and financial forecasting tools---a GARCH model for predicting equity volatility and a dynamic stochastic general equilibrium model (DSGE), the standard tool in macroeconomic forecasting. We demonstrate in particular how our techniques can aid forecasters and policy makers in choosing models which behave well under uncertainty and mis-specification.

研究动机与目标

• 为常见的时间序列预测模型提供有限样本、高概率的泛化误差（预测风险）界。
• 在不依赖渐近近似或基于似然的准则（如AIC/BIC）的情况下，实现时间序列预测中的模型选择。
• 在弱假设下（平稳性、矩条件、混合性）将i.i.d.学习理论结果扩展至依赖的时间序列数据。
• 在不确定性和模型误设条件下，支持有原则的模型比较与性能保证。
• 展示该方法在GARCH和DSGE模型等实际模型中的适用性，提升政策制定与风险评估中的可靠性。

提出的方法

• 在弱假设（包括平稳性和混合性）下，推导出对模型类和未知数据生成分布一致成立的非渐近风险界。
• 将测度集中技术与基于VC维的复杂度控制方法适配至弱依赖的时间序列设定。
• 应用结构风险最小化（SRM）原则，选择能最小化期望预测风险上界模型的模型。
• 使用带与VC维成比例的惩罚项的经验风险最小化方法，以平衡拟合优度与模型复杂度。
• 建立有限记忆非线性预测器和线性时不变状态空间模型（包括使用完整历史数据的模型）的风险界。
• 证明该方法在标准经济与金融模型（如GARCH模型，用于波动率预测；DSGE模型，用于宏观预测）中的适用性。

实验结果

研究问题

• RQ1 在数据生成过程的弱假设下，能否为时间序列预测模型推导出非渐近、高概率的风险界？
• RQ2 在不依赖渐近近似或显式似然函数的情况下，如何实现时间序列预测中的模型选择？
• RQ3 在平稳、依赖的时间序列中，基于VC维的复杂度控制在多大程度上可用于控制预测风险？
• RQ4 这些风险界能否应用于GARCH和DSGE等实际模型？在模型误设下，它们如何提升鲁棒性？
• RQ5 与AIC或交叉验证等传统方法相比，这些风险界在理论保证和有限样本性能方面表现如何？

主要发现

• 本文为包括ARMA、VAR和线性状态空间模型在内的广泛时间序列模型类，建立了有限样本、高概率的泛化误差上界。
• 这些上界依赖于经验风险和与VC维成比例的复杂度惩罚项，从而可通过结构风险最小化实现模型选择。
• 上界在最小假设下成立：存在矩、平稳性以及时间依赖性的衰减（混合性），无需i.i.d.数据或有界损失。
• 该方法允许通过最小化预测风险的上界来选择模型，相较于AIC或BIC提供了更强的理论保证。
• 该方法在股票波动率预测的GARCH模型和宏观经济预测的DSGE模型上得到验证，显示出在不确定性下的改进鲁棒性。
• 结果表明，最小化泛化误差上界可带来优于传统准则的预测性能，尤其在模型误设情况下。