[논문 리뷰] Statistical methods for resolving poor uncertainty quantification in machine learning interatomic potentials

Emil Annevelink, Venkatasubramanian Viswanathan|arXiv (Cornell University)|2023. 08. 29.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 이론적 오차 및 불확실성 분포를 사용하여 기계학습 원자간 잠재력(MLIP)에서 최적의 불확실성 절단값을 결정하기 위한 통계적 프레임워크를 제안한다. 오차와 불확실성을 통계적 집합으로 모델링함으로써, 히وري스틱 기반의 절단값보다 뛰어나고, 저비용의 불확실성 방법(예: 희소 가우시안 프로세스, 잠재 거리 측정법)을 사용한 견고한 활성 학습을 가능하게 하는 데이터 기반의 일반화 가능한 절단값을 수립한다. 이는 진정한 오차 기반 선택과 동등한 성능을 달성한다.

ABSTRACT

Machine learning interatomic potentials (MLIPs) are promising surrogates for quantum mechanics evaluations in ab-initio molecular dynamics simulations due to their ability to reproduce the energy and force landscape within chemical accuracy at four orders of magnitude less cost. While developing uncertainty quantification (UQ) tools for MLIPs is critical to build production MLIP datasets using active learning, only limited progress has been made and the most robust method, ensembling, still shows low correlation between high error and high uncertainty predictions. Here we develop a rigorous method rooted in statistics for determining an error cutoff that distinguishes regions of high and low UQ performance. The statistical cutoff illuminates that a main cause of the poor UQ performance is due to the machine learning model already describing the entire dataset and not having any datapoints with error greater than the statistical error distribution. Second, we extend the statistical analysis to create an interpretable connection between the error and uncertainty distributions to predict an uncertainty cutoff separating high and low errors. We showcase the statistical cutoff in active learning benchmarks on two datasets of varying chemical complexity for three common UQ methods: ensembling, sparse Gaussian processes, and latent distance metrics and compare them to the true error and random sampling, showing that the statistical cutoff is generalizable to a variety of different UQ methods and protocols and performs similarly to using the true error. Importantly, we conclude that utilizing this uncertainty cutoff enables using significantly lower cost uncertainty quantification tools such as sparse gaussian processes and latent distances compared to ensembling approaches for generating MLIP datasets at a fraction of the cost.

연구 동기 및 목표

• MLIP의 활성 학습 워크플로우에서 불확실성 절단값을 설정하기 위한 원칙적인 방법이 부족한 문제를 해결하기 위해.
• 앙상블 및 기타 불확실성 측정(UQ) 방법이 높은 불확실성과 높은 오차를 상관시키지 못할 경우 발생하는 낮은 UQ 성능 문제를 해결하기 위해.
• 오차 및 불확실성의 통계적 분포를 기반으로 하여, 훈련 데이터 분포 내외의 예측을 구분할 수 있는 이론적으로 탄탄한 일반화 가능한 절단값을 개발하기 위해.
• 모델 校정에 의존하지 않는 신뢰할 수 있고 해석 가능한 절단값을 제공함으로써 계산 비용이 낮은 UQ 방법(예: 희소 가우시안 프로세스, 잠재 거리)의 사용을 가능하게 하기 위해.
• 통계적 추론을 통해 불확실성 예측을 실제 오차 분포와 연결함으로써 활성 학습의 견고성을 향상시키기 위해.

제안 방법

• MLIP 예측 오차의 분포를 통계적 집합으로 모델링하며, 독립적이고 동일하게 분포된(i.i.d.) 표본 추출 조건 하에 맥스웰-볼츠만 분포 유사 분포를 따른다고 가정한다.
• 이론적 오차 분포를 사용하여 훈련 데이터 분포 내외의 예측을 분리하는 통계적 절단값을 정의한다.
• 불확실성 예측에도 동일한 통계적 프레임워크를 적용하여, 주어진 불확실성 값이 훈련 불확실성 값들과 같은 분포에 속할 가능성에 기반한 절단값을 정의한다.
• 통계적 절단값을 활성 학습 파이프라인에 통합하여 모델 校정에 의존하지 않고도 고오차, 분포 외부의 샘플을 식별한다.
• 세 가지 UQ 방법—앙성, 희소 가우시안 프로세스, 잠재 거리 측정법—에 대해 화학적 복잡도가 다른 두 데이터셋에서 본 방법을 검증한다.
• 통계적 절단값을 진짜 오차 및 무작위 샘플링과의 성능 비교 기준으로 사용하여 일반화 가능성과 견고성을 입증한다.

실험 결과

연구 질문

• RQ1 모델 校정에 영향을 받지 않는 통계적으로 탄탄한 절단값은 어떻게 정의할 수 있는가? 이는 MLIP에서 고오차 예측과 저오차 예측을 구분하기 위한 것이다.
• RQ2 기본적인 불확실성 측정 방법(예: 앙상블)이 활성 학습에서 높은 불확실성과 높은 오차를 상관시키지 못하는 이유는 무엇인가?
• RQ3 오차 및 불확실성 분포를 기반으로 한 통계적 프레임워크는 다양한 UQ 방법에 걸쳐 불확실성 절단값의 신뢰성을 향상시킬 수 있는가?
• RQ4 통계적 절단값을 사용할 경우, 저비용 UQ 방법(예: 희소 가우시안 프로세스)이 앙성 대비 활성 학습에서 얼마나 대체 가능할 수 있는가?
• RQ5 MLIP 데이터셋 정제를 위한 활성 학습 벤치마크에서 통계적 절단값은 진짜 오차를 사용할 때와 어떻게 비교되는가?

주요 결과

• 통계적 절단값은 불확실성 모델이 잘못 校정되어 있어도 고오차, 분포 외부의 샘플을 성공적으로 식별하며, 히وري스틱 또는 무작위 절단값보다 뛰어난 성능을 보인다.
• 이 방법은 낮은 UQ 성능의 근본 원인이 일반적으로 훈련 데이터 분포를 모두 기술하는 모델가 이미 존재하여 분포 외부의 고오차 점이 존재하지 않기 때문임을 드러낸다.
• 통계적 절단값을 사용한 활성 학습은 진짜 오차를 사용한 경우와 동등한 성능을 달성하여, 이 절단값이 실제 오차의 대체 지표로서의 타당성을 입증한다.
• 희소 가우시안 프로세스 및 잠재 거리 방법은 통계적 절단값을 사용할 경우 앙성보다 데이터 효율성과 안정성 면에서 가장 뛰어난 성능을 보였다.
• 통계적 절단값은 다양한 UQ 방법과 데이터셋(예: Li3Mg 및 LiMg3와 같은 복잡한 시스템 포함)에 걸쳐 일반화 가능하며 화학적 복잡성에 대해 뛰어난 견고성을 보였다.
• 이 프레임워크는 잘못 校정된 모델이어도 고오차 점을 신뢰할 수 있게 분류할 수 있게 하여, 생산용 MLIP 워크플로우에서 비용이 많이 드는 앙성의 사용을 크게 줄일 수 있게 하였다.