[论文解读] The M6 forecasting competition: Bridging the gap between forecasting and investment decisions

Spyros Makridakis, Evangelos Spiliotis+4 more|arXiv (Cornell University)|Oct 20, 2023

Forecasting Techniques and Applications被引用 4

一句话总结

M6 金融预测竞赛利用100种金融资产的真实时间数据，评估了预测准确度与投资表现之间的关系，揭示出持续战胜市场的现象极为罕见，预测与投资决策之间的关联性仅较微弱，且风险建模能显著提升投资结果。该竞赛凸显了纯粹预测在实践中的局限性，强调了结合判断力、风险模型与群体智慧的价值。

ABSTRACT

The M6 forecasting competition, the sixth in the Makridakis' competition sequence, is focused on financial forecasting. A key objective of the M6 competition was to contribute to the debate surrounding the Efficient Market Hypothesis (EMH) by examining how and why market participants make investment decisions. To address these objectives, the M6 competition investigated forecasting accuracy and investment performance on a universe of 100 publicly traded assets. The competition employed live evaluation on real data across multiple periods, a cross-sectional setting where participants predicted asset performance relative to that of other assets, and a direct evaluation of the utility of forecasts. In this way, we were able to measure the benefits of accurate forecasting and assess the importance of forecasting when making investment decisions. Our findings highlight the challenges that participants faced when attempting to accurately forecast the relative performance of assets, the great difficulty associated with trying to consistently outperform the market, the limited connection between submitted forecasts and investment decisions, the value added by information exchange and the "wisdom of crowds", and the value of utilizing risk models when attempting to connect prediction and investing decisions.

研究动机与目标

• 检验真实金融市场上预测准确度与投资表现之间的关系。
• 探究准确预测是否能转化为更优的投资决策。
• 评估风险建模、判断力与群体智慧在改善投资结果中的作用。
• 通过检验持续生成阿尔法是否可能，挑战有效市场假说（EMH）。
• 评估传统预测竞赛的局限性，并倡导采用实时、现场评估框架。

提出的方法

• 参赛者在多个真实时间周期内预测50只美国股票与50只国际ETF的相对表现。
• 竞赛采用实时评估，使用实际市场数据，避免使用隐藏的验证样本。
• 预测与投资表现分别评估，两项任务均设有奖项。
• 参赛者提交其预测与投资方法的高层次描述，而非完整代码或模型。
• 竞赛允许量化模型与基于判断的方法并存。
• 竞赛结束后分析使用模拟风险模型，评估预测准确度在多大程度上可提升投资结果。

实验结果

研究问题

• RQ1 在真实市场中，金融预测的准确性在多大程度上能带来更优的投资表现？
• RQ2 风险模型在预测与投资决策之间关系中起到何种作用？
• RQ3 为何许多表现优异的预测者尽管预测准确，却未能获得强劲的投资回报？
• RQ4 ‘群体智慧’在金融预测与投资决策中有多有效？
• RQ5 专家判断在预测与投资中扮演何种角色，其与基于模型的方法相比有何差异？

主要发现

• 持续战胜市场极为困难，伯克希尔·哈撒韦公司2002年后阿尔法的下降即为明证，尽管此前38年表现强劲。
• 表现最佳的预测者未必能获得强劲的投资回报，表明预测准确度与投资成功之间存在微弱的直接关联。
• 整合风险模型显著改善了投资结果，表明风险意识的预测对投资决策至关重要。
• 由于未提供详细代码或模型描述，参赛者的方法难以复现，限制了竞赛后的分析。
• 专业分析师不愿完全公开其方法，凸显了在现实预测竞赛中透明度与参与度之间的权衡。
• 使用实时真实数据提升了评估的有效性，更真实地反映了现实决策过程，优于传统留出样本方法。