[논문 리뷰] Differential Evolution Algorithm Based Hyperparameter Selection of Gated Recurrent Unit for Electrical Load Forecasting

Anuvab Sen, Vedica Gupta외 1명|arXiv (Cornell University)|2023. 09. 22.

Energy Load and Power ForecastingEngineering인용 수 3

한 줄 요약

이 논문은 전기 부하 예측을 위해 미분 진화(DE)로 최적화된 게이트드 순환 단위(GRU) 모델을 제안한다. DE를 활용해 GRU의 하이퍼파라미터를 자동으로 튜닝하고 예측 정확도를 향상시킨다. 캐나다 온타리오의 전력 부하 데이터를 사용하여, 기준 모델 대비 MSE와 MAPE가 크게 감소함을 확인하였으며, 이는 DE가 전력 시스템의 시계열 예측을 위한 딥러닝 하이퍼파라미터 최적화에 효과적임을 보여준다.

ABSTRACT

Accurate load forecasting remains a formidable challenge in numerous sectors, given the intricate dynamics of dynamic power systems, which often defy conventional statistical models. As a response, time-series methodologies like ARIMA and sophisticated deep learning techniques such as Artificial Neural Networks (ANN) and Long Short-Term Memory (LSTM) networks have demonstrated their mettle by achieving enhanced predictive performance. In our investigation, we delve into the efficacy of the relatively recent Gated Recurrent Network (GRU) model within the context of load forecasting. GRU models are garnering attention due to their inherent capacity to adeptly capture and model temporal dependencies within data streams. Our methodology entails harnessing the power of Differential Evolution, a versatile optimization technique renowned for its prowess in delivering scalable, robust, and globally optimal solutions, especially in scenarios involving non-differentiable, multi-objective, or constrained optimization challenges. Through rigorous analysis, we undertake a comparative assessment of the proposed Gated Recurrent Network model, collaboratively fused with various metaheuristic algorithms, evaluating their performance by leveraging established numerical benchmarks such as Mean Squared Error (MSE) and Mean Absolute Percentage Error (MAPE). Our empirical investigations are conducted using power load data originating from the Ontario province, Canada. Our research findings cast a spotlight on the remarkable potential of metaheuristic-augmented Gated Recurrent Network models in substantially augmenting load forecasting precision, offering tailored, optimal hyperparameter configurations uniquely suited to each model's performance characteristics.

연구 동기 및 목표

• 복잡한 시간적 종속성으로 인해 동적 전력 시스템에서의 부하 예측 정확도가 떨어지는 문제를 해결하기 위해.
• 게이트드 순환 단위(GRU)가 전기 부하 시계열 데이터를 모델링하는 데 얼마나 효과적인지 평가하기 위해.
• 미분 진화(DE)를 사용하여 GRU의 하이퍼파라미터를 최적화함으로써 GRU의 예측 정확도를 향상시키기 위해.
• 표준 평가 지표인 MSE와 MAPE를 사용하여 제안된 DE로 최적화된 GRU 모델을 기존의 전통적 모델들과 비교하기 위해.
• 비미분 가능하고 제약 조건이 있는 최적화에 적합한 확장성 있고 강력한 하이퍼파라미터 튜닝 프레임워크를 제공하기 위해.

제안 방법

• 전기 부하 시계열 데이터의 장기적 시간적 종속성을 포착하기 위해 게이트드 순환 단위(GRU) 모델을 사용하였다.
• GRU 모델의 최적 하이퍼파라미터 설정을 탐색하기 위해 메타휴리스틱 최적화 알고리즘인 미분 진화(DE)를 적용하였다.
• 최적화 목표를 평균 제곱 오차(MSE)와 평균 절대 퍼센트 오차(MAPE)를 적합도 함수로 정의하였다.
• 모델 성능을 검증하기 위해 캐나다 온타리오의 실세계 전력 부하 데이터를 사용하여 실험을 수행하였다.
• MSE와 MAPE를 균형 있게 조절하기 위해 DE 내에서 다목적 최적화 프레임워크를 활용하였다.
• 표준 회귀 평가 지표를 사용하여 모델 성능을 평가하고, 기준 모델과의 결과를 비교하였다.

실험 결과

연구 질문

• RQ1 미분 진화(DE)는 GRU 모델의 하이퍼파라미터를 전기 부하 예측에 효과적으로 최적화할 수 있는가?
• RQ2 DE로 최적화된 GRU의 성능은 표준 GRU 및 기타 기준 모델 대비 MSE와 MAPE 측면에서 어떻게 다른가?
• RQ3 DE를 통한 하이퍼파라미터 튜닝은 복잡하고 비정상적인 전력 부하 데이터에서 예측 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 다양한 평가 지표와 데이터 특성에 대해 잘 일반화되는가?
• RQ5 DE와 같은 메타휴리스틱 최적화는 전력 시스템의 시계열 예측을 위한 딥러닝 모델에서 전통적인 하이퍼파라미터 튜닝을 능가할 수 있는가?

주요 결과

• DE로 최적화된 GRU 모델은 온타리오 전력 부하 데이터에서 표준 GRU 및 기준 모델 대비 더 낮은 평균 제곱 오차(MSE)를 달성하였다.
• 제안된 방법은 평균 절대 퍼센트 오차(MAPE)를 크게 감소시켜 상대적인 예측 정확도 향상을 나타내었다.
• DE를 통한 하이퍼파라미터 튜닝은 랜덤 또는 격자 탐색 기반 설정보다 더 강력하고 정확한 예측 모델을 도출하였다.
• 모델는 다양한 평가 지표에 걸쳐 뛰어난 일반화 성능를 보였으며, 이는 DE가 비미분 가능하고 다목적 최적화에 효과적임을 입증한다.
• 결과적으로 메타휴리스틱 최적화가 전력 시스템 부하 예측에서 딥러닝 모델 튜닝을 위한 타당하고 효과적인 접근법임을 확인하였다.
• 본 연구는 GRU 모델이 DE 기반 하이퍼파라미터 선택과 결합될 경우, 전통적인 통계적 및 신경망 모델보다 부하 예측 과제에서 뛰어난 성능을 발휘함을 보여주었다.