[논문 리뷰] A VAE-Based Bayesian Bidirectional LSTM for Renewable Energy Forecasting.

Devinder Kaur, Shama Naz Islam외 1명|arXiv (Cornell University)|2021. 03. 24.

Energy Load and Power Forecasting참고 문헌 29인용 수 9

한 줄 요약

이 논문은 변분 오토인코더(VAE)를 통해 가중치 파rameter를 압축함으로써 재생 에너지 예측에서 계산 복잡도를 감소시키는 VAE-Bayesian BiLSTM 모델을 제안한다. 이는 데이터 및 모델 불확실성의 효율적 처리를 가능하게 하며, 다양한 데이터셋 크기에서 기존의 확률적 딥러닝 접근법에 비해 뛰어난 예측 정확도와 효율성을 달성한다.

ABSTRACT

The advancement in distributed generation technologies in modern power systems has led to a widespread integration of renewable power generation at customer side. However, the intermittent nature of renewable energy pose new challenges to the network operational planning with underlying uncertainties. This paper proposes a novel Bayesian probabilistic technique for forecasting renewable power generation by addressing data and model uncertainties by integrating bidirectional long short-term memory (BiLSTM) neural networks while compressing the weight parameters using variational autoencoder (VAE). Existing Bayesian deep learning methods suffer from high computational complexities as they require to draw a large number of samples from weight parameters expressed in the form of probability distributions. The proposed method can deal with uncertainty present in model and data in a more computationally efficient manner by reducing the dimensionality of model parameters. The proposed method is evaluated using pinball loss, reconstruction error, and other forecasting evaluation metrics. It is inferred from the numerical results that VAE-Bayesian BiLSTM outperforms other probabilistic deep learning methods in terms of forecasting accuracy and computational efficiency for different sizes of the dataset.

연구 동기 및 목표

• 재생 에너지 예측에 사용되는 베이지안 딥러닝 방법의 높은 계산 복잡도 문제를 해결한다.
• 재생 전력 생성 예측에서 데이터 및 모델 파rameter에서 기인하는 불확실성을 완화한다.
• 변분 오토인코더를 사용하여 모델 가중치의 차원을 감소시킴으로써 예측 정확도와 계산 효율성을 향상시킨다.
• 분산된 재생 에너지 시스템에서 다양한 데이터셋 크기에 적합한 확장 가능한 확률적 예측 프레임워크를 개발한다.

제안 방법

• 재생 에너지 시계열의 시간적 의존성을 포착하기 위해 양방향 장기 단기 기억망(BiLSTM) 네트워크를 통합한다.
• BiLSTM의 고차원 가중치 파arameter를 낮은 차원의 잠재 공간으로 압축하기 위해 변분 오토인코더(VAE)를 적용한다.
• 모델 가중치를 확률 분포로 표현함으로써 불확실성 정량화를 가능하게 하기 위해 베이지안 추론을 사용한다.
• 확률적 예측을 위해 VAE의 복원 손실과 예측 손실(예: 핀볼 손실)의 조합을 사용하여 모델을 종단 간(end-to-end)으로 훈련한다.
• 고차원 가중치 분포 대신 저차원 잠재 공간에서 샘플링함으로써 계산 비용을 절감한다.
• 불확실성 추정을 위해 잠재 공간에서 몬테카를로 샘플링을 수행하는 확률적 경량 하강법을 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 VAE 기반의 매개변수 압축은 재생 에너지 예측을 위한 베이지안 딥러닝에서 계산 복잡도를 줄일 수 있는가?
• RQ2 제안된 VAE-Bayesian BiLSTM는 기존의 확률적 딥러닝 모델에 비해 예측 정확도에서 어떻게 비교되는가?
• RQ3 모델 복잡도를 감소시키는 동안 이 방법은 불확실성 정량화를 어느 정도 유지하거나 향상시키는가?
• RQ4 다양한 데이터셋 크기에서 정확도와 효율성 측면에서 모델의 성능은 어떠한가?

주요 결과

• VAE-Bayesian BiLSTM 모델은 재생 에너지 데이터셋에서 다른 확률적 딥러닝 방법에 비해 더 높은 예측 정확도를 달성한다.
• 변분 오토인코딩을 통한 모델 가중치 압축으로 인해 계산 복잡도가 크게 감소한다.
• 모델은 다양한 데이터셋 크기에서 뛰어난 성능을 보이며, 확장성과 일반화 능력을 입증한다.
• 핀볼 손실과 복원 오차를 사용한 평가 결과, 개선된 확률적 예측 성능이 확인된다.
• VAE와 Bayesian BiLSTM의 통합은 예측 품질을 희생시키지 않은 채 효율적인 불확실성 정량화를 가능하게 한다.
• 특히 고차원 가중치 상황에서 기존 방법에 비해 정확도와 계산 효율성 측면에서 모두 뛰어난 성능을 발휘한다.