[论文解读] Predictive properties of forecast combination, ensemble methods, and Bayesian predictive synthesis

Kōsaku Takanashi, Kenichiro McAlinn|arXiv (Cornell University)|Nov 20, 2019

Forecasting Techniques and Applications参考文献 35被引用 2

一句话总结

本文提出了一种基于连续时间随机过程的新型非线性预测组合方法，利用伊藤引理对预测误差动态进行建模。结果表明，在温和的现实条件下，非线性合成方法比线性组合、平均法或集成方法更有效地降低期望平方预测误差，且贝叶斯预测合成是该方法的一个特例。

ABSTRACT

This paper studies the theoretical predictive properties of classes of forecast combination methods. A novel strategy based on continuous time stochastic processes is proposed and developed, where the combined predictive error processes are expressed as stochastic differential equations, evaluated using Ito's lemma. We identify a class of forecast combination methods, which we categorize as non-linear synthesis, and find that it entails an extra term in the predictive error process that corrects the bias from misspecification and dependence amongst forecasts, effectively improving forecasts. We show that a subclass of the recently developed framework of Bayesian predictive synthesis fits within this class. Theoretical properties are examined and we show that non-linear synthesis improves the expected squared forecast error over any and all linear combination, averaging, and ensemble of forecasts, under mild conditions that are met in most real applications. We discuss the conditions for which non-linear synthesis outperforms linear combinations, and its implications for developing further strategies. A finite sample simulation study is presented to illustrate our results.

研究动机与目标

• 研究预测组合方法的理论预测特性，特别是非线性方法。
• 建立一个连续时间随机过程框架，用于对预测误差动态进行建模。
• 识别非线性合成优于线性组合和集成方法的条件。
• 证明贝叶斯预测合成是所提出的非线性合成框架的一个子类。
• 通过理论和模拟分析，展示期望平方预测误差的改进。

提出的方法

• 利用从连续时间随机过程导出的随机微分方程对组合预测误差进行建模。
• 应用伊藤引理分析预测误差过程在预测组合框架中的动态特性。
• 定义一类新方法，称为非线性合成，其包含用于处理偏差和依赖性的额外校正项。
• 推导出非线性合成优于线性组合和集成方法的理论条件。
• 制定一个子类，使贝叶斯预测合成成为非线性合成框架中的特例。
• 开展有限样本模拟研究，以验证理论发现。

实验结果

研究问题

• RQ1 非线性预测组合方法与线性组合方法相比，其预测准确性如何？
• RQ2 在何种理论条件下，非线性合成能更有效地降低期望平方预测误差？
• RQ3 非线性合成中包含偏差校正项在多大程度上提升了预测性能？
• RQ4 贝叶斯预测合成与所提出的非线性合成框架有何关系？
• RQ5 在何种经验条件下，非线性合成优于标准的集成方法和平均法？

主要发现

• 在温和且常见的现实条件下，非线性合成方法比任何线性组合、平均法或集成方法更有效地降低期望平方预测误差。
• 非线性合成中的额外校正项专门用于处理模型误设和预测依赖性带来的偏差。
• 贝叶斯预测合成在形式上被嵌入到所提出的非线性合成方法类别中。
• 理论分析证实，非线性合成方法在预测准确性方面优于线性方法。
• 有限样本模拟结果支持理论发现，表明在实际场景中性能提升具有一致性。
• 当预测依赖性和模型误设普遍存在时，该方法在多种预测场景下均表现出稳健性。