[논문 리뷰] A Novel Smoothed Loss and Penalty Function for Noncrossing Composite Quantile Estimation via Deep Neural Networks

Kostas Hatalis, Alberto J. Lamadrid외 2명|arXiv (Cornell University)|2019. 09. 24.

Energy Load and Power Forecasting참고 문헌 53인용 수 14

한 줄 요약

이 논문은 확률적 바람 풍력 예측을 위한 딥 네ural 네트워크에서 복합 분위수 추정의 비교교차 문제를 해결하기 위해 새로운 부드러운 손실 함수와 페널티 함수를 사용하는 스무스 핀볼 네ural 네트워크(SPNN)를 제안한다. 비차별 가능한 핀볼 손실을 로지스틱 기반의 부드러운 근사로 대체하고, 미분 가능한 페널티를 통해 단조성을 강제함으로써 SPNN는 뛰어난 분위수 정확도, 신뢰성 및 날카움을 달성한다. 이는 GEFCom2014 대회에서 상위 팀들(평균 분위수 점수 0.042)을 능가하는 성능을 기록한다.

ABSTRACT

Uncertainty analysis in the form of probabilistic forecasting can significantly improve decision making processes in the smart power grid when integrating renewable energy sources such as wind. Whereas point forecasting provides a single expected value, probabilistic forecasts provide more information in the form of quantiles, prediction intervals, or full predictive densities. Traditionally quantile regression is applied for such forecasting and recently quantile regression neural networks have become popular for weather and renewable energy forecasting. However, one major shortcoming of composite quantile estimation in neural networks is the quantile crossover problem. This paper analyzes the effectiveness of a novel smoothed loss and penalty function for neural network architectures to prevent the quantile crossover problem. Its efficacy is examined on the wind power forecasting problem. A numerical case study is conducted using publicly available wind data from the Global Energy Forecasting Competition 2014. Multiple quantiles are estimated to form 10\%, to 90\% prediction intervals which are evaluated using a quantile score and reliability measures. Benchmark models such as the persistence and climatology distributions, multiple quantile regression, and support vector quantile regression are used for comparison where results demonstrate the proposed approach leads to improved performance while preventing the problem of overlapping quantile estimates.

연구 동기 및 목표

• 딥 네URAL 네트워크 기반의 다중 분위수 회귀를 위한 확률 예측에서 분위수 교차 문제를 해결하기 위해.
• 딥 네URAL 네트워크를 위한 분위수 추정을 위한 엔드 투 엔드 훈련을 가능하게 하는 비차별 가능한 핀볼 손실 함수의 미분 가능하고 부드러운 근사치를 개발하기 위해.
• 후처리 또는 제약 조건 없이도 분위수 추정치 간의 단조성을 강제하는 부드러운 페널티 함수를 도입하기 위해.
• 실제 바람 풍력 데이터를 대상으로 SPNN 모델의 예측 간격 신뢰성과 날카움 향상을 평가하기 위해.
• 지속성, 기후학, 다중 분위수 회귀, 서포트 벡터 분위수 회귀를 포함한 표준 및 고급 방법과의 비교를 위해.

제안 방법

• 딥 네URAL 네트워크를 위한 다중 분위수 회귀를 위한 기저가 되는 비차별 가능한 핀볼 손실 함수의 로지스틱 기반 부드러운 근사치를 제안한다.
• 이웃하는 분위수 간의 겹침 정도를 측정함으로써 비단조적 분위수 추정치를 페널티 처리하는 부드러운 페널티 함수를 도입한다.
• 단일 순방향 전파 과정에서 다수의 분위수(예: 10번째에서 90번째 백분위수)를 동시에 추정할 수 있도록 딥 네URAL 네트워크 아키텍처를 설계한다.
• 부드러운 핀볼 손실과 부드러운 페널티를 조합한 복합 목적 함수를 사용하여 정확도와 단조성을 동시에 최적화한다.
• 피치의 특성과 시간 특성을 포함한 GEFCom2014 데이터셋의 원시 데이터를 사용하여 SPNN 모델을 훈련한다. 이 과정에서 광범위한 특성 공학은 수행하지 않는다.
• 정량적 평가 지표로 분위수 점수(QS), 간격 점수(IS), 커버리지 오차(ACE), 날카움을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비차별 가능한 핀볼 손실 함수의 부드럽고 미분 가능한 근사치가 딥 네URAL 네트워크 기반 분위수 회귀의 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 부드러운 페널티 함수가 후처리 또는 제약 조건 없이도 분위수 교차를 효과적으로 방지하면서도 모델 정확도를 저하시키지 않는가?
• RQ3 실제 바람 풍력 데이터에서 SPNN 모델이 분위수 점수, 예측 간격의 신뢰성 및 날카움 측면에서 기존 벤치마크와 비교해 어떻게 성능을 내는가?
• RQ4 SPNN가 광범위한 특성 공학 없이도 GEFCom2014 대회에서 상위 성능를 기록한 모델들과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 SPNN 모델이 다양한 바람 풍력 발전소와 예측 수준에서 분위수 순서가 정확히 유지되는 정도는 어느 정도인가?

주요 결과

• SPNN2는 모든 바람 풍력 발전소와 월별로 평균 분위수 점수 0.042를 기록했으며, GEFCom2014 대회에서 우승한 팀의 점수 0.038에 매우 가까운 성능을 보였다.
• SPNN2는 분위수 점수 범위가 가장 낮은 0.036~0.047를 기록했고, 다중 분위수 회귀 및 서포트 벡터 분위수 회귀를 포함한 모든 벤치마크를 능가했다.
• SPNN는 평균 커버리지 오차(ACE)가 가장 낮았으며, 중앙값이 SPNN1 이하이므로 예측 간격의 보다 뛰어난 신뢰성을 보였다.
• SPNN는 간격 점수와 날카움 점수 측정 기준으로 가장 날카로운 예측 간격을 생성했으며, 모든 발전소에서 가장 좁은 1분위수 범위를 기록했다.
• 모든 데이터셋에서 사전 설정된 예측 간격 커버리지 수준을 충족했으며, 과다 또는 과소 커버리지 없이 일관된 신뢰성을 입증했다.
• 원시 바람 속도 및 시간 데이터만을 사용했음에도 불구하고, 광범위한 특성 공학을 사용한 GEFCom2014 상위 팀들과 비교해 유사한 성능을 달성했다.