[논문 리뷰] How to predict and optimise with asymmetric error metrics

Mahdi Abolghasemi, Richard Bean|arXiv (Cornell University)|2022. 11. 24.

Energy Load and Power Forecasting인용 수 5

한 줄 요약

이 논문은 에너지 스케줄링에서 비대칭 오차 비용을 보정하기 위해 선형 보정 방법을 제안하며, 과소예측이 최적화 비용을 크게 증가시킨다는 것을 보여준다. 최적화 단계의 제곱형 비용 함수와 예측 손실 함수를 일치시킴으로써, 편향 보정을 통해 최종 비용을 감소시키는 접근법을 취하며, 넷 로드 예측의 최적 예측 보정 선에서 1.37배의 스케일링과 0.58의 절편을 달성한다.

ABSTRACT

In this paper, we examine the concept of the predict and optimise problem with specific reference to the third Technical Challenge of the IEEE Computational Intelligence Society. In this competition, entrants were asked to forecast building energy use and solar generation at six buildings and six solar installations, and then use their forecast to optimize energy cost while scheduling classes and batteries over a month. We examine the possible effect of underforecasting and overforecasting and asymmetric errors on the optimisation cost. We explore the different nature of loss functions for the prediction and optimisation phase and propose to adjust the final forecasts for a better optimisation cost. We report that while there is a positive correlation between these two, more appropriate loss functions can be used to optimise the costs associated with final decisions.

연구 동기 및 목표

• 에너지 스케줄링에서 예측 오차, 특히 비대칭적인 과소예측과 과대예측이 최종 최적화 비용에 미치는 영향을 조사하는 것.
• 기존의 예측 정확도 지표(예: MAE)와 실제 최적화 비용 성능 사이의 괴리, 특히 제곱형 비용 함수 설정에서의 상관관계를 이해하는 것.
• 특히 비대칭 오차 조건에서 최적화 비용을 최소화하기 위해 예측을 조정하는 방법을 제안하는 것.
• 예측 보정이 실제 에너지 스케줄링 결과에서 표준 예측 정확도 지표를 뛰어넘을 수 있는지 평가하는 것.

제안 방법

• 저자들은 IEEE-CIS 3회 기술 챌린지의 예측 및 실제 넷 로드 데이터를 분석하여, 비교를 위해 값들을 평균 μ=0, 표준편차 σ=1로 정규화한다.
• 예측된 넷 로드를 실제 넷 로드로 매핑하는 비용 최소화 회귀를 사용하여 선형 보정 모델을 유도한다. 이는 비대칭 오차 비용 함수를 최소화한다.
• 보정 모델은 과소예측과 과대예측에 대해 비대칭 페널티를 부여하는 제곱형 비용 함수에 기반하며, 잔차의 왜곡도 고려한다.
• 비용을 최소화하기 위해 최적의 파라미터 γ=1.37과 ε=0.58를 추정하여 선형 보정 선을 설정한다. 이는 표준 예측 오차가 아닌 비용을 최소화하기 위함이다.
• 다섯 가지 최적화 전략을 비교하여, '강제 방전 없음'을 비용 평가의 기준으로 선정한다.
• 경쟁 데이터와 변형된 예측 세트를 활용하여 실증 검증을 수행함으로써, 예측 조정을 통한 비용 감소 효과를 평가한다.

실험 결과

연구 질문

• RQ1 비대칭 예측 오차, 특히 과소예측이 에너지 스케줄링에서 최종 최적화 비용에 어떻게 영향을 미치는가?
• RQ2 제곱형 비용 함수 설정에서 기존의 예측 정확도(예: MAE)와 실제 최적화 비용 간의 상관관계는 어느 정도인가?
• RQ3 예측에 선형 보정을 가함으로써 표준 예측 정확도 지표를 뛰어넘어 최종 최적화 비용을 더 효과적으로 줄일 수 있는가?
• RQ4 오차 페널티가 비대칭인 상황에서 최적의 최적화 비용을 최소화하는 예측 조정의 최적 형태는 무엇인가?
• RQ5 비용 함수의 경제량 모델링은 재생 가능 에너지 스케줄링에서 제곱항과 비대칭 오차 페널티의 사용을 정당화할 수 있는가?

주요 결과

• 넷 로드 과소예측은 비용 함수의 비대칭 페널티로 인해 최종 최적화 비용을 크게 증가시킨다.
• γ=1.37과 ε=0.58를 가진 선형 보정 모델이 최종 최적화 비용을 최소화하는 데 성공했으며, 보정되지 않은 예측보다 뛰어난 성능을 보였다.
• 예측 정확도(MAE)와 최적화 비용 간의 상관관계는 양의 상관관계를 보이지만 비대칭적이며, 과소예측이 비용에 더 큰 영향을 미친다.
• 예측 잔차의 왜곡도 비용과 음의 상관관계를 보였으며, 이는 데이터셋에서 과소예측이 주요 오류 유형임을 확인한다.
• 표준 예측 오차 지표를 최소화한다고 해서 반드시 최종 최적화 비용을 최소화하는 것은 아니며, 특히 제곱형 비용 함수에서는 더욱 그러하다.
• 비용 최소화 회귀를 통한 예측 조정은 예측-최적화 문제의 의사결정 결과를 향상시키는 실현 가능하고 효과적인 방법임을 입증한다.