[论文解读] A Novel Smoothed Loss and Penalty Function for Noncrossing Composite Quantile Estimation via Deep Neural Networks

Kostas Hatalis, Alberto J. Lamadrid+2 more|arXiv (Cornell University)|Sep 24, 2019

Energy Load and Power Forecasting参考文献 53被引用 14

一句话总结

该论文提出了一种平滑保龄球神经网络（SPNN），通过使用新颖的平滑损失函数和惩罚函数，实现在深度神经网络中进行非交叉复合分位数估计，以实现概率风力发电预测。通过用基于逻辑斯蒂函数的平滑近似替代不可微的保龄球损失函数，并利用可微分惩罚函数强制实现单调性，SPNN在分位数准确性、可靠性和精确度方面表现更优——其平均分位数得分达到0.042，优于包括GEFCom2014顶级团队在内的基准模型。

ABSTRACT

Uncertainty analysis in the form of probabilistic forecasting can significantly improve decision making processes in the smart power grid when integrating renewable energy sources such as wind. Whereas point forecasting provides a single expected value, probabilistic forecasts provide more information in the form of quantiles, prediction intervals, or full predictive densities. Traditionally quantile regression is applied for such forecasting and recently quantile regression neural networks have become popular for weather and renewable energy forecasting. However, one major shortcoming of composite quantile estimation in neural networks is the quantile crossover problem. This paper analyzes the effectiveness of a novel smoothed loss and penalty function for neural network architectures to prevent the quantile crossover problem. Its efficacy is examined on the wind power forecasting problem. A numerical case study is conducted using publicly available wind data from the Global Energy Forecasting Competition 2014. Multiple quantiles are estimated to form 10\%, to 90\% prediction intervals which are evaluated using a quantile score and reliability measures. Benchmark models such as the persistence and climatology distributions, multiple quantile regression, and support vector quantile regression are used for comparison where results demonstrate the proposed approach leads to improved performance while preventing the problem of overlapping quantile estimates.

研究动机与目标

• 为基于深度神经网络的多分位数回归在概率预测中的分位数交叉问题提供解决方案。
• 开发一种可微分的、平滑的保龄球损失函数近似方法，以支持深度网络在分位数估计中的端到端训练。
• 提出一种平滑惩罚函数，用于在无需后处理或约束条件的情况下强制实现估计分位数的单调性。
• 在真实世界风力发电数据上评估所提出的SPNN模型，以提升预测区间可靠性与精确度。
• 将SPNN与标准方法及先进方法进行基准对比，包括持续性模型、气候学模型、多分位数回归和支撑向量分位数回归。

提出的方法

• 提出基于逻辑斯蒂函数的保龄球损失函数平滑近似方法，以实现深度神经网络在多分位数回归中的可微训练。
• 引入一种平滑惩罚函数，通过测量相邻分位数之间的重叠程度来惩罚非单调的分位数估计。
• 设计一种深度神经网络架构，可在单次前向传播中联合估计多个分位数（例如第10至90百分位数）。
• 采用组合目标函数，结合平滑保龄球损失与平滑惩罚函数，联合优化准确性与单调性。
• 使用来自GEFCom2014数据集的原始风速和时间特征训练SPNN模型，无需大量特征工程。
• 采用标准评估指标，包括分位数得分（QS）、区间得分（IS）、覆盖误差（ACE）和精确度，以评估性能。

实验结果

研究问题

• RQ1 平滑且可微分的保龄球损失函数近似是否能提升基于深度神经网络的分位数回归训练稳定性与性能？
• RQ2 平滑惩罚函数是否能有效防止分位数交叉，同时不牺牲模型准确性或需要后处理？
• RQ3 SPNN模型在真实世界风力发电数据上的分位数得分、预测区间可靠性与精确度方面，相较于既定基准表现如何？
• RQ4 SPNN是否仅使用原始输入特征即可实现与GEFCom2014竞赛中顶尖模型相当的性能？
• RQ5 SPNN模型在不同风电场及不同预测时序下，其分位数排序的保持程度如何？

主要发现

• SPNN2在所有风电场和月份的平均分位数得分为0.042，接近GEFCom2014竞赛冠军团队的0.038得分。
• SPNN2的分位数得分范围最小（0.036–0.047），优于所有基准模型，包括多分位数回归与支持向量分位数回归。
• SPNN实现了最低的平均覆盖误差（ACE），其中位数低于SPNN1，表明其预测区间的可靠性更优。
• SPNN生成了最精确的预测区间，以区间得分与精确度得分衡量，所有风电场的四分位距最窄。
• 该模型在所有数据集上均满足预设的预测区间覆盖水平，证实其一致性可靠性，无过度或不足覆盖现象。
• 尽管仅使用原始风速与时间数据，SPNN的性能仍可与使用大量特征工程的GEFCom2014顶级团队相媲美。