[논문 리뷰] Aggregating distribution forecasts from deep ensembles

Benedikt Schulz, Köhler, Lutz외 1명|arXiv (Cornell University)|2022. 04. 05.

Wind and Air Flow Studies인용 수 6

한 줄 요약

이 논문은 확률 예측에서 딥 앙상블에 대한 분위수 기반 집계 프레임워크를 제안하며, 분위수 집계(Vincentization)가 밀도 예측의 선형 풀링보다 유의하게 뛰어난 성능을 보임을 입증한다. 이론적 분석, 시뮬레이션 및 바람 돌풍 예측 사례 연구를 통해 저자들은 분위수를 통한 예측 분포 집계가 예측 성능을 향상시키며, 특히 앙상블 크기가 중간(10–20명)이고 개별 예측이 잘 최적화된 경우에 뚜렷한 성과를 거둔다.

ABSTRACT

The importance of accurately quantifying forecast uncertainty has motivated much recent research on probabilistic forecasting. In particular, a variety of deep learning approaches has been proposed, with forecast distributions obtained as output of neural networks. These neural network-based methods are often used in the form of an ensemble, e.g., based on multiple model runs from different random initializations or more sophisticated ensembling strategies such as dropout, resulting in a collection of forecast distributions that need to be aggregated into a final probabilistic prediction. With the aim of consolidating findings from the machine learning literature on ensemble methods and the statistical literature on forecast combination, we address the question of how to aggregate distribution forecasts based on such `deep ensembles'. Using theoretical arguments and a comprehensive analysis on twelve benchmark data sets, we systematically compare probability- and quantile-based aggregation methods for three neural network-based approaches with different forecast distribution types as output. Our results show that combining forecast distributions from deep ensembles can substantially improve the predictive performance. We propose a general quantile aggregation framework for deep ensembles that allows for corrections of systematic deficiencies and performs well in a variety of settings, often superior compared to a linear combination of the forecast densities. Finally, we investigate the effects of the ensemble size and derive recommendations of aggregating distribution forecasts from deep ensembles in practice.

연구 동기 및 목표

• 확률 예측을 위한 통계 및 머신러닝 문헌에서 예측 조합과 앙상블 기법을 통합한다.
• 다양한 신경망 기반 예측 분포 유형을 가진 딥 앙상블에 대해 확률 기반 및 분위수 기반 집계 방법을 체계적으로 비교한다.
• 앙상블 크기가 예측 성능에 미치는 영향을 평가하고, 분포 예측을 집계하는 데 실용적인 권고안을 도출한다.
• 딥 앙상블 환경에서 분위수 집계(Vincentization)가 밀도 예측의 선형 풀링보다 뛰어난 성능을 보이는지 조사한다.

제안 방법

• 저자들은 두 단계 워크플로우를 사용한다: 먼저 다수의 무작위 초기화된 신경망을 통해 확률 예측 앙상블을 생성하고, 그 다음에 이를 단일 예측 분포로 집계한다.
• 주요 집계 전략 두 가지를 비교한다: 예측 밀도의 선형 풀링(LP)과 앙상블 구성원 간 분위수 함수를 선형으로 조합하는 Vincentization(VI).
• 프레임워크는 다양한 유형의 예측 분포를 출력하는 세 가지 별도의 신경망 아키텍처에 적용된다: 파라미터 기반(Gaussian 등), 반파라미터 기반(분위수 함수 근사), 비파라미터 기반(히스토GRAM 기반).
• 이론적 분석을 통해 Vincentization의 형태 유지 성질을 정당화한다. 특히 앙상블 구성원이 동일한 모델과 데이터에서 유래할 경우에 유용하다.
• 성능 평가 및 비교를 위해 시뮬레이션 실험과 실제 사례 연구(확률 예측 기반 바람 돌풍 예측)를 수행한다.
• 성능 평가는 적절한 스코어링 규칙(CRPS 등)을 사용하며, 앙상블 크기가 예측 정확도에 미치는 영향을 체계적으로 평가한다.

실험 결과

연구 질문

• RQ1 예측 분포의 선형 풀링과 분위수 기반 Vincentization 간의 다른 집계 방법이 딥 앙상블 예측의 예측 성능에 어떤 영향을 미치는가?
• RQ2 성능 향상과 계산 비용을 고려할 때, 확률 예측에서 딥 앙상블의 최적의 앙상블 크기는 무엇인가?
• RQ3 신경망 아키텍처의 선택(파라미터 기반, 반파라미터 기반, 비파라미터 기반)이 집계 방법의 효과성에 영향을 미치는가?
• RQ4 어떤 조건에서 분위수 집계(VI)가 선형 풀링(LP)보다 예측 캘리브레이션과 날카움 측면에서 뛰어나게 되는가?
• RQ5 예측 조합은 개별 앙상블 구성원의 체계적 오차를 완전히 보정할 수 있는가, 아니면 그들의 기초 모델 품질에 의해 제한되는가?

주요 결과

• 분위수 기반 집계 방법인 Vincentization(VI)는 CRPS 및 캘리브레이션 측면에서 예측 성능 측면에서 선형 풀링의 예측 밀도보다 일관되게 뛰어나다.
• 예측 분포를 집계함으로써 예측 정확도가 크게 향상되며, 특히 개별 앙상블 구성원이 잘 최적화된 경우에 가장 큰 성과를 보인다.
• 적어도 10명 이상의 앙상블 구성원을 권장한다. 20명을 초과하는 더 큰 앙상블는 성능 향상이 미미하여 10–20명이 계산 효율성이 뛰어난 최적의 영역이 된다.
• VI가 LP를 능가하는 것이 가장 두드러지는 경우는 앙상블 구성원이 동일한 모델과 데이터에서 유래할 때이며, 이 경우 형태 유지 성질이 바람직한 성질이 된다.
• 예측 조합은 개별 예측의 심각한 체계적 오차를 완전히 보정할 수 없으며, 이는 기초 모델을 집계하기 전에 최적화하는 것이 중요함을 강조한다.
• 드롭아웃 기반 앙상블는 무작위 초기화로부터 생성된 딥 앙상블보다 성능이 열 劣하므로, 앙상블 생성 방법의 선택이 최종 예측 품질에 상당한 영향을 미친다.