[논문 리뷰] Bayesian averaging of computer models with domain discrepancies: a nuclear physics perspective

Vojtech Kejzlar, Léo Neufcourt외 2명|arXiv (Cornell University)|2019. 04. 09.

Nuclear reactor physics and engineering참고 문헌 51인용 수 7

한 줄 요약

이 논문은 핵물리학에서 비일치한 연구 영역을 가진 컴퓨터 모델에 대해 도메인 보정된 베이지안 모델 평균화(BMA) 프레임워크를 제안한다. 후행 우도 비율과 공유된 데이터 영역을 통해 도메인 간 격차를 명시적으로 고려함으로써 예측 오차 분산을 줄이고 실증적 커버리지(coverage)를 향상시켜 핵 질량 예측의 정확도와 불확실성 정량화에 있어 뚜렷한 향상을 보였다.

ABSTRACT

This article studies Bayesian model averaging (BMA) in the context of competing expensive computer models in a typical nuclear physics setup. While it is well known that BMA accounts for the additional uncertainty of the model itself, we show that it also decreases the posterior variance of the prediction errors via an explicit decomposition. We extend BMA to the situation where the competing models are defined on non-identical study regions. Any model's local forecasting difficulty is offset by predictions obtained from the average model, thus extending individual models to the full domain. We illustrate our methodology via pedagogical simulations and applications to forecasting nuclear observables, which exhibit convincing improvements in both the BMA prediction error and empirical coverage probabilities.

연구 동기 및 목표

• 서로 다른 영역에서 정의된 경쟁적 컴퓨터 모델이 존재할 경우 발생하는 베이지안 모델 평균화의 과제를 해결한다. 이는 핵구조 모델링에서 흔한 문제이다.
• 모델 평균화를 통해 개별 모델의 예측을 전체 영역으로 확장할 수 있도록 도메인 보정 방법을 개발한다.
• 모델 불확실성을 명시적으로 모델링하고 예측 오차의 사후 분산을 줄임으로써 불확실성 정량화를 향상시킨다.
• 실제 및 시뮬레이션 데이터를 사용하여 핵 질량 예측에 대해 제안된 방법의 효과성을 입증하며, 실증적 커버리지 확보와 RMSE 감소를 보여준다.

제안 방법

• 표준 베이지안 모델 평균화(BMA)를 도메인 보정 사후 혼합 분포를 도입하여 서로 다른 연구 영역에서 정의된 모델을 다룰 수 있도록 확장한다.
• BMA 혼합에서 모델의 가중치를 결정하기 위해 후행 우도 비율 $ Q = \frac{p(\tilde{y}^{(-k)}|y^{(k)})p(\tilde{\theta}_k|y^{(k)})}{p(\tilde{y}^{(-k)}|y^{(k)})p(\tilde{\theta}_k|y^{(k)})} $ 를 사용하여 다양한 도메인 간 일관된 추론을 보장한다.
• 모델 출력을 비교하고 통합할 수 있는 공유 영역 $ D_{\text{shared}} $ 를 정의함으로써 상호 모델 校정 및 오차 분해를 가능하게 한다.
• 예측 오차를 모델링하기 위해 가우시안 프로세스 사전분포를 사용하고, 이에 제곱 지수 커널을 적용하여 탄력적인 오차 모델링과 감마 사전분포를 통한 초모수 추정을 가능하게 한다.
• 조건부 분산 공식을 사용하여 총 사후 분산을 모델 내부 및 모델 간 구성요소로 분해함으로써 명시적으로 모델 불확실성을 정량화한다.
• MCMC 샘플링을 사용하여 방법을 구현하고, 훈련 및 테스트 데이터셋에서 RMSE, $ \tilde{r}^2_{\text{BMA}} $, 실증적 커버리지 확률을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 핵물리학에서 다양한 동위원소 영역을 가진 컴퓨터 모델이 정의된 비일치한 도메인을 다룰 수 있도록 베이지안 모델 평균화를 어떻게 적응시킬 수 있는가?
• RQ2 기존 BMA 또는 개별 모델과 비교해 도메인 보정 BMA는 예측 오차의 사후 분산을 줄이는가?
• RQ3 제안된 방법은 핵 질량 외삽 예측에서 실증적 커버리지 확률과 예측 정확도를 어느 정도 향상시키는가?
• RQ4 다른 동위원소 영역(예: 짝수 Z, 홀수 N 등)에서 모델의 사후 가중치와 예측 성능는 어떻게 변화하는가?

주요 결과

• 도메인 보정 BMA 방법은 모델 조건부 기대값의 분산을 통해 모델 불확실성을 명시적으로 고려함으로써 예측 오차 분산을 감소시켰다.
• 예비 시뮬레이션에서는 도메인 보정 BMA의 RMSE($ \text{RMSE} = 3.28 $)가 개별 모델($ \text{RMSE} \text{ up to } 4.69 $)과 독립 도메인 BMA($ \text{RMSE} = 3.28 $)보다 유의미하게 낮았으며, 도메인 겹침 $ D_{\text{shared}} $ 가 증가할수록 성능 향상이 커졌다.
• 핵 질량 데이터셋(AME2016 $\setminus$ AME2003)에서 BMA 모델은 테스트 세트에서 RMSE 0.709 MeV를 기록하여 가장 우수한 개별 모델(FRDM-2012, RMSE = 0.808 MeV)을 능가했다.
• 실증적 커버리지 확률은 BMA에서 향상되었으며, $ \tilde{r}^2_{\text{BMA}} $ 값은 훈련 세트에서 0.413, 테스트 세트에서 0.231이었고, 이는 개별 모델보다 보다 잘 校정된 결과를 의미한다.
• 모델이 부분 영역에서만 유효하더라도 공유된 데이터와 도메인 보정 가중치를 활용하여 국소 모델 예측을 전체 영역으로 효과적으로 확장할 수 있었다.
• FRDM-2012 및 HFB-24 등의 모델에 대한 사후 가중치는 스핀의 우열성과 영역에 매우 민감했지만, BMA는 모든 구성에서 예측을 안정화시키고 분산을 감소시켰다.