[논문 리뷰] Knowledge distillation with error-correcting transfer learning for wind power prediction

Hao Chen|arXiv (Cornell University)|2022. 04. 01.

Energy Load and Power Forecasting인용 수 5

한 줄 요약

이 논문은 풍력 예측을 위한 새로운 지식 증류 및 오류 보정 전이 학습 프레임워크를 제안하며, 사전 훈련된 파크 수준 모델에서 지식을 전이하고 전이 학습을 통해 예측 오차를 보정함으로써 정확하고 저비용의 터빈 수준 모델링을 가능하게 한다. 이 방법은 다양한 지형을 가진 다섯 대의 북극 터빈에서 기준 모델 대비 성능 향상을 3.3%에서 23.9%까지 달성한다.

ABSTRACT

Wind power prediction, especially for turbines, is vital for the operation, controllability, and economy of electricity companies. Hybrid methodologies combining advanced data science with weather forecasting have been incrementally applied to the predictions. Nevertheless, individually modeling massive turbines from scratch and downscaling weather forecasts to turbine size are neither easy nor economical. Aiming at it, this paper proposes a novel framework with mathematical underpinnings for turbine power prediction. This framework is the first time to incorporate knowledge distillation into energy forecasting, enabling accurate and economical constructions of turbine models by learning knowledge from the well-established park model. Besides, park-scale weather forecasts non-explicitly are mapped to turbines by transfer learning of predicted power errors, achieving model correction for better performance. The proposed framework is deployed on five turbines featuring various terrains in an Arctic wind park, the results are evaluated against the competitors of ablation investigation. The major findings reveal that the proposed framework, developed on favorable knowledge distillation and transfer learning parameters tuning, yields performance boosts from 3.3 % to 23.9 % over its competitors. This advantage also exists in terms of wind energy physics and computing efficiency, which are verified by the prediction quality rate and calculation time.

연구 동기 및 목표

• 풍력 예측에서 개별 터빈 모델을 새로 훈련하는 데 드는 높은 비용과 복잡성을 해결하기 위해.
• 잘 정립된 파크 수준 모델의 지식을 활용하여 개별 터빈의 예측 정확도를 향상시키기 위해.
• 명시적인 기상 예보의 하향 스케일링 없이 전이 학습을 통해 터빈 수준의 예측 오차를 보정하기 위해.
• 다양한 지형 조건에서 풍력 예측의 계산 효율성과 물리적 일관성을 향상시키기 위해.

제안 방법

• 지식 증류를 적용하여 사전 훈련된 파크 수준 모델에서 개별 터빈 모델로 지식을 전이한다.
• 학생 터빈 모델은 파크 모델의 출력을 모방하도록 훈련되어, 광범위한 개별 훈련이 필요로 하는 것을 줄인다.
• 오류 보정 전이 학습을 도입하여 파크 모델의 예측 오차를 개별 터빈으로 매핑한다.
• 이 프레임워크는 두 단계 과정을 사용한다: 첫 번째로 지식 증류를 통한 모델 초기화, 두 번째로 전이 학습을 통한 오류 보정.
• 지식 전이 및 오류 보정 성능을 최적화하기 위해 모델 파라미터를 조정한다.
• 공간-시간 오차 패턴을 학습함으로써 기상 예보를 터빈 수준으로 명시적으로 하향 스케일링하는 것을 피한다.

실험 결과

연구 질문

• RQ1 지식 증류가 파크 수준 모델에서 개별 터빈 모델로 예측 지식을 효과적으로 전이할 수 있는가?
• RQ2 명시적인 기상 하향 스케일링 없이 오류 보정 전이 학습이 터빈 수준의 풍력 예측을 어떻게 향상시키는가?
• RQ3 이 하이브리드 프레임워크를 통해 예측 정확도와 계산 효율성 향상은 어느 정도 달성될 수 있는가?
• RQ4 이 프레임워크는 다양한 지형 조건에서 풍력 에너지 원리와 물리적 일관성을 어떻게 유지하는가?
• RQ5 이 프레임워크는 실제 북극 풍력 파크 환경에서 기준 모델에 비해 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• 제안된 프레임워크는 경쟁 모델 대비 터빈 출력 예측에서 3.3%에서 23.9%까지 성능 향상을 달성한다.
• 지식 증류와 효율적인 오류 보정을 통해 계산 비용을 줄이며 예측 정확도를 크게 향상시킨다.
• 예측 품질률 지표를 통해 검증된 바와 같이, 이 프레임워크는 풍력 에너지 원리와 강한 물리적 일관성을 유지한다.
• 모델은 북극 풍력 파크의 다양한 지형 조건을 가진 다섯 대의 터빈에서 뛰어난 강건성을 보였다.
• 개별 터빈 훈련과 명시적인 기상 하향 스케일링에 대한 의존도를 줄여 가용성과 비용 효율성을 향상시켰다.
• 제거 실험 결과, 지식 증류와 오류 보정 전이 학습이 관찰된 성능 향상에 필수적임을 확인했다.