[논문 리뷰] Meaningful uncertainties from deep neural network surrogates of large-scale numerical simulations

Gemma J. Anderson, Jim Gaffney외 4명|arXiv (Cornell University)|2020. 10. 26.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 대규모 관성 압축 합성 시뮬레이션에서 스칼라 및 이미지 출력을 위한 校정된, 해석 가능한 베이지안 불확실성 예측을 생성하기 위해 딥 오토인코더 기반 대체 모델(MaCC)에 몬테카를로 드롭아웃을 사용하는 변분 추론 방법을 제안한다. 이 방법은 예측에서 물리적 관련 구조를 유지하며, 희소한 훈련 데이터가 있는 영역에서 불확실성이 증가하는 불확실성 인식형 활동 학습을 가능하게 한다.

ABSTRACT

Large-scale numerical simulations are used across many scientific disciplines to facilitate experimental development and provide insights into underlying physical processes, but they come with a significant computational cost. Deep neural networks (DNNs) can serve as highly-accurate surrogate models, with the capacity to handle diverse datatypes, offering tremendous speed-ups for prediction and many other downstream tasks. An important use-case for these surrogates is the comparison between simulations and experiments; prediction uncertainty estimates are crucial for making such comparisons meaningful, yet standard DNNs do not provide them. In this work we define the fundamental requirements for a DNN to be useful for scientific applications, and demonstrate a general variational inference approach to equip predictions of scalar and image data from a DNN surrogate model trained on inertial confinement fusion simulations with calibrated Bayesian uncertainties. Critically, these uncertainties are interpretable, meaningful and preserve physics-correlations in the predicted quantities.

연구 동기 및 목표

• 대규모 과학적 시뮬레이션의 딥 네ural 네트워크 대체 모델에서 신뢰할 수 있는 불확실성 정량화의 부족을 해결하기 위해.
• 스칼라 및 이미지 출력 모두에 대해 校정된, 해석 가능한 불확실성 예측을 생성하면서도 물리적 상관관계를 유지하는 방법을 개발하기 위해.
• 희소한 훈련 데이터로 인해 예측 불확실성이 높은 영역을 식별함으로써 불확실성 기반 활동 학습을 가능하게 하기 위해.
• 검증 데이터에 대해 통계적으로 잘 校정된 불확실성 추정을 보장하여 과학적 의사결정에서 모델 예측에 대한 신뢰를 향상시키기 위해.

제안 방법

• 관성 압축 합성 시뮬레이션 데이터를 기반으로 딥 오토인코더 기반 대체 모델(MaCC)을 훈련하여 스칼라 및 이미지 출력을 공유 잠재 공간에서 동시에 표현한다.
• 추론 시점에 몬테카를로 드롭아웃을 적용하여 베이지안 사후 분포를 근사함으로써 아키텍처 변경 없이 지식 기반 불확실성 추정을 가능하게 한다.
• 드롭아웃의 하이퍼파ram터는 검증 데이터 세트에서 校정 기준을 사용하여 튜닝되어 불확실성 추정이 통계적으로 신뢰할 수 있도록 보장한다.
• 불확실성 校정은 신뢰도 다이어그램과 커버리지 지표를 사용하여 평가되며, 이는 예측 구간이 명시된 비율(예: 95% 예측 구간이 진짜 값을 95%의 비율로 포함)에 맞게 진짜 값을 포함하도록 보장한다.
• 다중 모odal 데이터 관계가 인코딩된 잠재 공간에서 작동함으로써 이 방법은 이미지 예측에서 물리적 상관관계를 유지한다.
• 하나의 입력 파라미터를 훈련 범위 전역에서 변화시켜 불확실성 보간을 시연하였으며, 훈련 샘플 수가 적은 영역에서 불확실성이 증가하는 경향을 보였다.

실험 결과

연구 질문

• RQ1 대규모 과학적 시뮬레이션을 위한 딥 네럴 네트워크 대체 모델이 스칼라 및 이미지 출력 모두에 대해 校정된, 해석 가능한 불확실성 추정을 제공할 수 있는가?
• RQ2 잠재 공간에서 하이퍼파ram터 튜닝을 적용한 몬테카를로 드롭아웃이 이미지 예측에서 물리적으로 의미 있는 상관관계를 유지하는가?
• RQ3 대체 모델에서 도출된 불확실성 추정이 희소한 훈련 데이터로 인한 높은 예측 불확실성 영역을 식별함으로써 활동 학습을 이끌 수 있는가?
• RQ4 다양한 입력 구성에서 校정 지표로 측정했을 때 불확실성 정량화 방법이 강건하고 신뢰할 수 있는가?

주요 결과

• 불확실성 보유 MaCC 모델은 예측 불확실성을 잘 校정하며, 검증 세트에서 95% 예측 구간이 진짜 값을 약 95%의 비율로 포함한다.
• 예측된 로그 중성자 수확량의 불확실성은 훈련 샘플 수가 적은 영역에서 증가하며, 희소하게 샘플링된 영역(예: 1.5–1.6)에서는 표준편차가 높게 샘플링된 영역(예: 1.0–1.1)보다 약 두 배로 증가한다.
• 공유 잠재 표현을 학습함으로써 모델은 이미지 출력에서 물리적 상관관계를 유지하며, 이로 인해 불확실성 추정이 의미 있는 공간적 구조를 반영한다.
• 이 방법은 불확실성 기반 활동 학습을 가능하게 하며, 높은 불확실성 영역은 추가 시뮬레이션으로 모델 정확도를 가장 크게 향상시킬 수 있는 영역임을 나타낸다.
• 기존 DNN 아키텍처에 최소한의 수정만으로 적용 가능하며, 다중 모달 데이터를 위한 오토인코더 구성이 있는 모든 모델에 적용 가능하다.
• 잠재 공간에서의 校정 기반 하이퍼파ram터 튜닝은 기본 드롭아웃 설정보다 더 신뢰할 수 있는 불확실성 추정을 이끈다.