[论文解读] DiffLoad: Uncertainty Quantification in Electrical Load Forecasting with the Diffusion Model

Zhixian Wang, Qingsong Wen+3 more|arXiv (Cornell University)|May 31, 2023

Energy Load and Power Forecasting被引用 5

一句话总结

本文提出 DiffLoad，一种基于扩散模型的序列到序列（Seq2Seq）模型，用于概率性电力负荷预测，能够分别量化认知不确定性（epistemic uncertainty）与偶然不确定性（aleatoric uncertainty）。通过使用扩散模型建模认知不确定性，以及利用鲁棒的柯西分布（Cauchy distribution）建模偶然不确定性，该方法在数据分布变化下实现了更优的不确定性分离与稳定性，在多种数据集上的准确率与不确定性校准性能均优于基线模型。

ABSTRACT

Electrical load forecasting plays a crucial role in decision-making for power systems, including unit commitment and economic dispatch. The integration of renewable energy sources and the occurrence of external events, such as the COVID-19 pandemic, have rapidly increased uncertainties in load forecasting. The uncertainties in load forecasting can be divided into two types: epistemic uncertainty and aleatoric uncertainty. Separating these types of uncertainties can help decision-makers better understand where and to what extent the uncertainty is, thereby enhancing their confidence in the following decision-making. This paper proposes a diffusion-based Seq2Seq structure to estimate epistemic uncertainty and employs the robust additive Cauchy distribution to estimate aleatoric uncertainty. Our method not only ensures the accuracy of load forecasting but also demonstrates the ability to separate the two types of uncertainties and be applicable to different levels of loads. The relevant code can be found at \url{https://anonymous.4open.science/r/DiffLoad-4714/}.

研究动机与目标

• 应对可再生能源接入及新冠疫情等外部事件带来的电力负荷预测中不确定性日益增长的挑战。
• 分离并量化两种不同类型的不确定性——认知不确定性（与模型相关）与偶然不确定性（与数据相关），以提升决策信心。
• 开发一种在数据噪声与分布偏移下仍能保持高预测准确率并提供可靠不确定性估计的方法。
• 与集成方法或贝叶斯神经网络相比，降低计算成本，同时提升不确定性校准性能与鲁棒性。

提出的方法

• 提出一种基于扩散模型的序列到序列架构，通过建模序列到序列框架中隐藏状态的不确定性，来估计认知不确定性。
• 采用重尾的柯西分布来建模偶然不确定性，降低对异常值与突发数据偏移的敏感性。
• 采用基于扩散过程的经验不确定性估计策略，避免依赖模型参数分布。
• 通过重构损失与不确定性感知损失函数的组合，端到端训练模型，以同时优化预测准确率与不确定性校准。
• 将不确定性估计直接集成到预测头中，实现实时不确定性量化，且无需额外推理开销。
• 在不同数据集（GEF、COV、BDG2）上的多尺度负荷预测任务中应用该模型，以验证其泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 基于扩散模型的模型是否能在不依赖模型参数分布的情况下，有效估计负荷预测中的认知不确定性？
• RQ2 相较于高斯分布假设，使用重尾柯西分布在数据噪声与分布偏移下，如何改善偶然不确定性的估计？
• RQ3 在存在突发变化的真实负荷数据中，该方法在多大程度上能够实现认知与偶然不确定性的有效分离与量化？
• RQ4 与 DeepAR、集成方法或贝叶斯神经网络等现有概率预测基线相比，该方法是否实现了更优的不确定性校准与预测准确率？
• RQ5 与标准模型及集成或贝叶斯网络等不确定性感知方法相比，该方法的计算成本如何？

主要发现

• 所提出的 DiffLoad 方法在 GEF 数据集上实现了最低的 MAPE（3.29），在 COV 数据集上为 1.91，优于原始 DeepAR 及其他消融变体。
• 随着训练数据增加，认知不确定性估计值持续稳定下降，表明模型置信度提升且过拟合减少，而基线方法则表现出异常上升趋势。
• 采用柯西分布后，与高斯分布相比，置信区间更稳定且更紧凑，尤其在存在异常值的高变异性数据集中表现更优。
• 即使在分布偏移（如疫情相关负荷变化）期间，模型仍能保持较低的不确定性估计，展现出对外部冲击的强鲁棒性。
• 训练时间显著低于集成方法与贝叶斯神经网络，仅比标准 DeepAR 略有增加，表明其在实际部署中具有较高的计算效率。
• 消融研究证实，扩散结构与柯西分布均至关重要，若任一被移除，所有指标（MAPE、CRPS、Winkler 分数）性能均出现下降。