[논문 리뷰] Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles

Aik Rui Tan, Shingo Urata외 3명|arXiv (Cornell University)|2023. 05. 02.

Machine Learning in Materials Science참고 문헌 73인용 수 4

한 줄 요약

이 연구는 신경망 상호작용 위치(NNIPs)의 단일 모델 불확실성 추정(UQ) 방법—평균-분산 추정, 딥 증거 회귀, 가우시안 혼합 모델—을 신경망 앙상블과 비교한다. 계산 비용이 낮음에도 불구하고, 데이터셋과 평가 지표에 관계없이 앙상블을 능가하는 단일 모델 방법은 없었으며, 액티브 러닝 루프에서 일반화 및 강인성 면에서 앙상블이 여전히 열세를 점유하였다.

ABSTRACT

Neural networks (NNs) often assign high confidence to their predictions, even for points far out-of-distribution, making uncertainty quantification (UQ) a challenge. When they are employed to model interatomic potentials in materials systems, this problem leads to unphysical structures that disrupt simulations, or to biased statistics and dynamics that do not reflect the true physics. Differentiable UQ techniques can find new informative data and drive active learning loops for robust potentials. However, a variety of UQ techniques, including newly developed ones, exist for atomistic simulations and there are no clear guidelines for which are most effective or suitable for a given case. In this work, we examine multiple UQ schemes for improving the robustness of NN interatomic potentials (NNIPs) through active learning. In particular, we compare incumbent ensemble-based methods against strategies that use single, deterministic NNs: mean-variance estimation, deep evidential regression, and Gaussian mixture models. We explore three datasets ranging from in-domain interpolative learning to more extrapolative out-of-domain generalization challenges: rMD17, ammonia inversion, and bulk silica glass. Performance is measured across multiple metrics relating model error to uncertainty. Our experiments show that none of the methods consistently outperformed each other across the various metrics. Ensembling remained better at generalization and for NNIP robustness; MVE only proved effective for in-domain interpolation, while GMM was better out-of-domain; and evidential regression, despite its promise, was not the preferable alternative in any of the cases. More broadly, cost-effective, single deterministic models cannot yet consistently match or outperform ensembling for uncertainty quantification in NNIPs.

연구 동기 및 목표

• 단일 모델 불확실성 추정(UQ) 방법이 신경망 앙상블을 능가할 수 있는지, 강건한 신경망 상호작용 위치(NNIPs)를 훈련하는 데에 대해 평가하는 것.
• 다양한 데이터 영역—내부 영역 보간과 외부 영역 일반화—에서 평균-분산 추정, 딥 증거 회귀, 가우시안 혼합 모델 등의 다양한 UQ 기법의 효과성을 평가하는 것.
• 원자적 시뮬레이션에서 불확실성 추정이 물리적으로 타당하지 않은 구조나 편향된 역학을 피하는 데 핵심이 되므로, 단일 결정성 신경망이 액티브 러닝에 적합한지 확인하는 것.
• 계산 비용이 더 높은 앙상블 기반 방법에 비해 유망한 단일 모델 UQ 접근법의 한계를 규명하는 것.

제안 방법

• 연구는 세 가지 벤치마크 데이터셋을 사용한다: rMD17(내부 영역 보간), 암모니아의 역행렬(중간 정도의 외삽), 부동산 실리카 유리(극도로 외삽적인 일반화).
• 각 데이터셋에 대해 여러 UQ 방법을 적용한다: 평균-분산 추정(MVE), 딥 증거 회귀, 가우시안 혼합 모델(GMM), 신경망 앙상블.
• 모델 오차와 예측 불확실성 간의 상관관계를 측정하는 지표를 사용해 불확실성 평가를 수행하며, 분포 이탈 성능을 점검하기 위해 악성 샘플링을 포함한 다양한 테스트 세트를 활용한다.
• UQ 점수를 사용해 데이터 수집을 이끄는 액티브 러닝 루프를 구현하며, 각 방법이 정보성 높고 고오차 영역을 얼마나 잘 식별하는지 측정한다.
• GMM 방법은 훈련된 신경망의 잠재 공간 표현을 사용해 훈련 후 혼합 모델을 피팅함으로써 아키텍처 변경 없이도 불확실성 추정을 가능하게 한다.
• 딥 증거 회귀 모델은 예측 출력에 대한 딜레르트 분포를 통해 불확실성을 모델링하며, 적절한 스코링 규칙을 사용해 엔드 투 엔드로 파rameter를 최적화한다.

Figure 1: Illustration of the uncertainty quantification (UQ) methods used. $x$ denotes the input to the neural networks (NNs), while $y$ is the predicted property. In the case of NNIPs, $x$ generally represents the positions and atomic numbers of the input structure, whereas $y$ is the energy and/o

실험 결과

연구 질문

• RQ1 평균-분산 추정, 딥 증거 회귀, 또는 가우시안 혼합 모델과 같은 단일 모델 UQ 방법이 NNIPs의 불확실성 추정에서 신경망 앙상블을 일관되게 능가할 수 있는가?
• RQ2 내부 영역 보간에서부터 극도로 외삽적인 일반화에 이르기까지 다양한 분포 이탈 정도에서 다양한 UQ 방법의 성능은 어떻게 다른가?
• RQ3 단일 결정성 신경망에 UQ 기능을 부여한 경우, 원자적 시뮬레이션의 액티브 러닝 루프에서 앙상블 수준의 강인성을 달성할 수 있는가?
• RQ4 딥 증거 회귀의 수치 안정성과 일반화 능력이 NNIP 훈련에서 앙상블의 실질적 대안이 될 수 있는가?
• RQ5 특히 실리카 유리와 같은 도전적인 시스템에서 UQ 방법은 외부 분포 프레임에 대해 얼마나 잘 불확실성 순위를 매겼는가?

주요 결과

• 신경망 앙상블은 모든 데이터셋과 평가 지표에서 모든 단일 모델 UQ 방법을 일관되게 뛰어넘었으며, 특히 액티브 러닝 중 일반화 및 강인성 면에서 뛰어났다.
• 평균-분산 추정(MVE)은 내부 영역 보간 작업에서만 잘 작동했으며, 외부 분포 영역에서는 고불확실성 영역을 체계적으로 식별하지 못했다.
• 가우시안 혼합 모델(GMM)은 외부 분포 일반화에서 뛰어난 성능을 보였으며, 특히 실리카 유리 데이터셋에서 유의미한 성과를 냈지만, 보간 영역에서는 덜 효과적이었다.
• 딥 증거 회귀는 이론적으로 유망했지만, 최적화 과정에서 수치적 불안정성이 나타나 모든 지표나 데이터셋에서 앙상블을 능가하지 못했다.
• 어느 하나의 단일 모델 UQ 방법도 앙상블의 일반화 능력을 따라잡지 못했으며, 이는 비용 효율적인 결정성 모델이 아직 강건한 NNIP 훈련을 위해 일관되게 앙상블을 대체할 수 없다는 것을 시사한다.
• 이 연구는 앙상블 기반 UQ가 악성 샘플링을 통한 외부 분포 프레임 식별에 있어서 여전히 가장 신뢰할 수 있는 방법임을 확인했으며, 비록 계산 비용이 높다는 점을 감안하더라도 말이다.

Figure 2: (a) Hexbin plots showing (predicted) uncertainties versus squared errors of atomic forces in all molecules of all 5-fold test sets from the rMD17 data set for each considered UQ method. Note that since the uncertainties (-NLL) for the GMM method contain negative values, all uncertainties a