[论文解读] Forecasting day-ahead electricity prices: A review of state-of-the-art algorithms, best practices and an open-access benchmark

Jesus Lago, Grzegorz Marcjasz+2 more|arXiv (Cornell University)|Aug 18, 2020

Energy Load and Power Forecasting参考文献 152被引用 406

一句话总结

本文通过引入五个主要市场的公开可访问数据集、开源的最先进模型（LEAR 和 DNN）实现以及一套全面的最佳实践，提出了一项严格的日前电价预测基准。结果表明，深度学习集成模型在准确性方面优于统计模型，而 LEAR 由于其计算效率高且性能强劲，仍是低延迟应用的最优选择。

ABSTRACT

While the field of electricity price forecasting has benefited from plenty of contributions in the last two decades, it arguably lacks a rigorous approach to evaluating new predictive algorithms. The latter are often compared using unique, not publicly available datasets and across too short and limited to one market test samples. The proposed new methods are rarely benchmarked against well established and well performing simpler models, the accuracy metrics are sometimes inadequate and testing the significance of differences in predictive performance is seldom conducted. Consequently, it is not clear which methods perform well nor what are the best practices when forecasting electricity prices. In this paper, we tackle these issues by performing a literature survey of state-of-the-art models, comparing state-of-the-art statistical and deep learning methods across multiple years and markets, and by putting forward a set of best practices. In addition, we make available the considered datasets, forecasts of the state-of-the-art models, and a specifically designed python toolbox, so that new algorithms can be rigorously evaluated in future studies.

研究动机与目标

• 解决电力价格预测（EPF）研究中缺乏标准化、可复现评估的问题。
• 提供覆盖五年以上、涵盖五个主要电力市场的长期公开基准数据集。
• 开发并发布最先进模型（LEAR 和 DNN）的开源实现，以确保公平比较。
• 建立一套最佳实践，以提升 EPF 研究的方法严谨性、可复现性和统计有效性。
• 使未来研究能够通过共享数据集和基准模型，在一致条件下评估新模型。

提出的方法

• 整理了五个公开可访问、长期（6年）的日前电价数据集，涵盖主要欧洲和北美电力市场，每个数据集包含每小时电价及两个外生变量。
• 实现并开源了两种最先进模型：用于统计预测的套索估计自回归（LEAR）模型，以及采用贝叶斯超参数与特征优化的深度神经网络（DNN）。
• 开发专用 Python 库 epftoolbox，用于托管数据集、模型预测结果和评估工具，以实现一致的基准测试。
• 采用标准化评估指标，包括 rMAE、sMAPE、MAPE 和 RMSE，并辅以统计检验以评估性能差异的显著性。
• 采用严格的样本外评估协议，包含每日重新校准、独立的训练/验证/测试集划分，以及明确的数据分区，以确保可复现性。
• 在所有五个数据集上评估模型性能，结合准确性指标与非参数统计检验，以验证性能差异的显著性。

实验结果

研究问题

• RQ1 在多样化、长期的电力市场中，哪些预测模型能持续优于其他模型？
• RQ2 深度学习模型在准确性和计算成本方面与成熟的统计模型（如 LEAR）相比如何？
• RQ3 哪些是最可靠且统计上稳健的电力价格预测评估指标？
• RQ4 集成深度学习模型在预测准确性方面相较于单个 DNN 模型有多大提升？
• RQ5 哪些方法论上的最佳实践能够确保未来 EPF 研究的可复现性和有意义的比较？

主要发现

• 深度神经网络（DNN）集成模型在预测准确性方面显著优于所有其他模型，且与单个模型及 LEAR 模型相比，其性能提升具有统计显著性。
• LEAR 模型的性能与 DNN 接近，但计算成本低至其 1/100，使其成为实时决策应用的理想选择。
• rMAE 指标比 MAPE 和 sMAPE 更可靠，因为 MAPE 对接近零的电价过于敏感，可能导致误导性结论。
• 统计检验对于验证模型间性能差异是否显著至关重要；缺乏统计检验时，EPF 研究的结论往往无效。
• 测试数据集必须至少覆盖一年时间，以确保评估具有代表性；较短的测试周期（如一周样本）会导致结果不可靠且无法推广。
• 公开的基准体系（包括数据集和最先进模型的预计算预测）可实现新预测方法的公平、可复现且一致的评估。