[论文解读] Differential Evolution Algorithm Based Hyperparameter Selection of Gated Recurrent Unit for Electrical Load Forecasting

Anuvab Sen, Vedica Gupta+1 more|arXiv (Cornell University)|Sep 22, 2023

Energy Load and Power ForecastingEngineering被引用 3

一句话总结

本文提出了一种通过差分进化（DE）优化门控循环单元（GRU）模型的电力负荷预测方法，利用DE自动调整GRU超参数以提升预测精度。基于加拿大安大略省的电力负荷数据，该方法在均方误差（MSE）和平均绝对百分比误差（MAPE）方面显著优于基线模型，证明了DE在电力系统时间序列预测中优化深度学习超参数的有效性。

ABSTRACT

Accurate load forecasting remains a formidable challenge in numerous sectors, given the intricate dynamics of dynamic power systems, which often defy conventional statistical models. As a response, time-series methodologies like ARIMA and sophisticated deep learning techniques such as Artificial Neural Networks (ANN) and Long Short-Term Memory (LSTM) networks have demonstrated their mettle by achieving enhanced predictive performance. In our investigation, we delve into the efficacy of the relatively recent Gated Recurrent Network (GRU) model within the context of load forecasting. GRU models are garnering attention due to their inherent capacity to adeptly capture and model temporal dependencies within data streams. Our methodology entails harnessing the power of Differential Evolution, a versatile optimization technique renowned for its prowess in delivering scalable, robust, and globally optimal solutions, especially in scenarios involving non-differentiable, multi-objective, or constrained optimization challenges. Through rigorous analysis, we undertake a comparative assessment of the proposed Gated Recurrent Network model, collaboratively fused with various metaheuristic algorithms, evaluating their performance by leveraging established numerical benchmarks such as Mean Squared Error (MSE) and Mean Absolute Percentage Error (MAPE). Our empirical investigations are conducted using power load data originating from the Ontario province, Canada. Our research findings cast a spotlight on the remarkable potential of metaheuristic-augmented Gated Recurrent Network models in substantially augmenting load forecasting precision, offering tailored, optimal hyperparameter configurations uniquely suited to each model's performance characteristics.

研究动机与目标

• 为解决由于复杂时间依赖性导致动态电力系统中负荷预测不准确的问题。
• 评估门控循环单元（GRU）在建模电力负荷时间序列数据方面的性能。
• 通过差分进化（DE）优化GRU的超参数，提升其预测精度。
• 使用MSE和MAPE等标准指标，将所提出的DE优化GRU模型与传统模型进行对比。
• 提供一种可扩展、鲁棒的超参数调优框架，适用于电力系统负荷预测中的不可微分和约束优化问题。

提出的方法

• 采用门控循环单元（GRU）模型以捕捉电力负荷时间序列中的长期时间依赖性。
• 应用差分进化（DE）这一元启发式优化算法，搜索GRU模型的最优超参数配置。
• 以均方误差（MSE）和平均绝对百分比误差（MAPE）作为适应度函数，定义优化目标。
• 在加拿大安大略省的真实电力负荷数据上开展实验，以验证模型性能。
• 在DE中采用多目标优化框架，平衡MSE与MAPE，确保在多种评估标准下的鲁棒性。
• 使用标准回归指标评估模型性能，并与基线模型进行结果对比。

实验结果

研究问题

• RQ1 差分进化能否有效优化GRU模型在电力负荷预测中的超参数？
• RQ2 与标准GRU及其他基线模型相比，DE优化GRU在MSE和MAPE指标上的表现如何？
• RQ3 通过DE进行的超参数调优对复杂、非平稳电力负荷数据预测精度有何影响？
• RQ4 该方法在不同性能指标和数据特征下是否具有良好的泛化能力？
• RQ5 在电力系统时间序列预测中，类似DE的元启发式优化是否能优于传统超参数调优方法？

主要发现

• DE优化的GRU模型在安大略省电力负荷数据上的均方误差（MSE）低于标准GRU和基线模型。
• 所提方法显著降低了平均绝对百分比误差（MAPE），表明相对预测精度得到提升。
• 通过差分进化进行的超参数调优，使模型比随机搜索或网格搜索配置更具鲁棒性和准确性。
• 该模型在不同评估指标间表现出良好的泛化能力，凸显了DE在不可微分、多目标优化中的有效性。
• 结果证实，元启发式优化是电力系统负荷预测中调优深度学习模型的一种可行且高效的方法。
• 研究表明，当GRU模型与基于DE的超参数选择相结合时，其在负荷预测任务中的表现优于传统的统计模型和神经网络模型。