[论文解读] Dual Interpretation of Machine Learning Forecasts

Philippe Goulet Coulombe, Maximilian Goebel+1 more|arXiv (Cornell University)|Dec 17, 2024

Energy Load and Power Forecasting被引用 4

一句话总结

本文提出了一种用于宏观经济机器学习预测的双重解释框架，通过基于接近度的权重将样本外预测分解为单个历史训练观测的贡献。将这些权重视为数据投资组合持仓，该方法能够直观地将预测驱动因素可视化为历史类比，并引入了诸如预测集中度和换手率等新型诊断指标，在低样本、高维设置（如后疫情时代通货膨胀和经济衰退预测）中显著提升了可解释性。

ABSTRACT

Machine learning predictions are typically interpreted as the sum of contributions of predictors. Yet, each out-of-sample prediction can also be expressed as a linear combination of in-sample values of the predicted variable, with weights corresponding to pairwise proximity scores between current and past economic events. While this dual route leads nowhere in some contexts (e.g., large cross-sectional datasets), it provides sparser interpretations in settings with many regressors and little training data-like macroeconomic forecasting. In this case, the sequence of contributions can be visualized as a time series, allowing analysts to explain predictions as quantifiable combinations of historical analogies. Moreover, the weights can be viewed as those of a data portfolio, inspiring new diagnostic measures such as forecast concentration, short position, and turnover. We show how weights can be retrieved seamlessly for (kernel) ridge regression, random forest, boosted trees, and neural networks. Then, we apply these tools to analyze post-pandemic forecasts of inflation, GDP growth, and recession probabilities. In all cases, the approach opens the black box from a new angle and demonstrates how machine learning models leverage history partly repeating itself.

研究动机与目标

• 解决高维宏观经济预测中的可解释性挑战，其中由于共线性和稀疏性，传统基于特征的解释方法失效。
• 提出超越特征贡献的双重解释路径，通过将预测表示为基于模型感知到的与训练观测点接近度加权的样本内目标值的线性组合。
• 通过历史贡献的时间序列可视化预测驱动因素，增强叙事性和政策相关性解释。
• 引入受投资组合启发的指标（如集中度、换手率、空头头寸）以诊断预测的稳定性和风险。
• 展示该方法在多种机器学习模型中的适用性，包括岭回归、随机森林、提升树和具有线性输出层的神经网络。

提出的方法

• 该方法利用正则化最小二乘问题的双重解，将样本外预测表示为样本内目标值的加权和，权重来自当前数据点与过去数据点之间成对的接近度评分。
• 对于（核）岭回归，接近度权重可直接从对偶解通过矩阵求逆引理恢复，实现无需重新训练的精确分解。
• 对于具有线性输出层的神经网络，最终层的优化被重新表述为对隐藏层激活的正则化线性回归，从而可利用相同的岭回归机制计算接近度权重。
• 对于树基模型（如随机森林、XGBoost），接近度权重通过单个树贡献的集成平均和运算获得，利用其对特征空间的隐式划分。
• 表示定理为该方法提供了理论基础，确保再生核希尔伯特空间中的任意解均可表示为在训练点处计算的核函数的有限线性组合，从而实现对偶表示。
• 该方法使用 R 语言代码实现，代码托管于 GitHub，已应用于使用 1961 至 2019 年后疫情时代数据预测通货膨胀、GDP 增长和经济衰退概率。

实验结果

研究问题

• RQ1 如何不仅通过特征贡献，还能通过基于与过去数据点接近度的历史类比来解释机器学习预测？
• RQ2 在预测变量众多但训练样本较少的场景下，将预测表示为历史结果的加权组合，是否能提升可解释性和诊断洞察？
• RQ3 是否可以系统性地为多种机器学习模型（包括神经网络和树集成）检索接近度权重，而不仅限于线性模型？
• RQ4 诸如预测集中度、换手率和空头头寸等投资组合风格指标，如何增强宏观经济机器学习预测的解释与评估？
• RQ5 在预测后疫情时代经济结果时，不同模型（如 KRR、RF、NN）在识别相似历史类比方面的一致性如何？

主要发现

• 双重解释方法成功地将预测分解为单个历史观测的贡献，接近度权重为当前状况与过去经济事件之间的清晰叙事联系提供了支持。
• 对于核岭回归，接近度权重可直接从对偶解中获得，实现无需额外计算的精确且高效解释。
• 具有线性输出层的神经网络可通过将最终层重新表述为隐藏激活上的岭回归，精确检索接近度权重，从而保持可解释性。
• 树基模型（如随机森林和提升树）通过在集成层面汇总单个树的贡献，实现了基于接近度权重的解释，尽管其本身不原生输出接近度矩阵。
• 在后疫情时代经济衰退预测中，KRR、RF 和 NN 模型在识别 1990 年代初和 2000 年代初的经济衰退作为关键类比方面表现出定性一致性，其中 KRR 因对过去‘双次衰退’的强接近度，预测 2023M8 时风险高达 89%，发出严重警示。
• 该方法揭示，YC 的预测表现出向上倾斜的贡献路径，这是正向衰退贡献与负向扩张贡献共同作用的结果；而 RF 因其 0-1 编码中无空头头寸，表现出更平坦的路径。