[논문 리뷰] On Deriving Probabilistic Models for Adsorption Energy on Transition Metals using Multi-level Ab initio and Experimental Data

Huijie Tian, Srinivas Rangarajan|arXiv (Cornell University)|2019. 01. 26.

Gaussian Processes and Bayesian Inference참고 문헌 3인용 수 5

한 줄 요약

이 논문은 저밀도 DFT 데이터와 고밀도 RPA 또는 실험 데이터를 융합하여 전이 금속 표면의 침착 에너지를 고정밀도로 예측하는 다중작업 가우시안 프로세스(MT-GP) 프레임워크를 제안한다. 풍부한 저밀도 데이터를 활용하고 제한된 고밀도 데이터를 선택적으로 통합함으로써, 단일작업 모델보다 유의미하게 뛰어난 성능을 달성하며, 고밀도 데이터 포인트를 최대 80% 감소시키면서도 평균 절대 오차가 0.12 eV 이하를 유지한다.

ABSTRACT

In this paper, we apply multi-task Gaussian Process (MT-GP) to show that the adsorption energy of small adsorbates on transition metal surfaces can be modeled to a high level of fidelity using data from multiple sources, taking advantage of the relatively abundant ''low fidelity" data (such as from density functional theory computations) and small amounts of ''high fidelity" computational (e.g. using the random phase approximation) or experimental data. To fully explore the performance of MT-GP, we perform two case studies - one using purely computational datasets and the other using a combination of experimental and computational datasets. In both cases, the performance of MT-GPs is significantly better than single-task models built on a single data source. This method can be used to learn improved models from fused datasets, and thereby build accurate models under tight computational and experimental budget.

연구 동기 및 목표

• 다양한 수준의 이론적 및 실험적 데이터를 융합하여 전이 금속 표면의 침착 에너지 예측 정확도를 향상시키는 데이터 기반 모델을 개발하는 것.
• RPA와 같은 고수준 이론의 계산적 제약을 해결하기 위해 저밀도 DFT 데이터를 사전 정보로 활용하여 고비용의 고밀도 데이터에 대한 의존도를 줄이는 것.
• 다중작업 가우시안 프로세스가 고립된 데이터 소스에 훈련된 단일작업 모델보다 뛰어난 성능을 보일 수 있음을 입증하는 것.
• 활성 학습을 통해 가장 정보가 많은 고밀도 데이터 포인트를 선택하여 데이터 수집을 최적화하고 실험적 또는 계산적 비용을 최소화하는 것.
• 순수 계산적 데이터셋과 실험-계산 혼합 데이터셋 모두에서 모델의 성능을 검증하여 다양한 데이터 정밀도 수준에서의 강인성을 보여주는 것.

제안 방법

• 다양한 정밀도 수준의 데이터 소스—예: PBE, BEEF-vdW(저밀도 DFT), RPA(고밀도 이론), 실험 측정값—을 사용하여 침착 에너지를 모델링하기 위해 다중작업 가우시안 프로세스(MT-GP) 회귀를 적용한다.
• 다양한 정밀도 수준 간의 상관관계를 모델링할 수 있는 커널 함수를 사용하여 저밀도 작업에서 고밀도 작업으로 정보 전달이 가능하도록 한다.
• 표면 종류를 경로 지문과 전자 구조 특징(예: d-밴드 중심)으로 표현하여 표면 특화 화학 환경을 코딩한다.
• 예측 분산을 할당 기준으로 사용하여 활성 학습을 적용하여 반복적으로 가장 정보가 많은 고밀도 데이터 포인트(예: FC-RPA)를 선택함으로써 필요한 고밀도 샘플 수를 최소화한다.
• 교차검증 및 평균 절대 오차(MAE)와 평균 예측 표준편차(MPSd)와 같은 오차 지표를 사용하여 FC-PBE, FC-BEEF 등의 소스 작업과 FC-RPA 또는 실험 데이터와 같은 타겟 작업을 조합하여 MT-GP를 훈련한다.
• 10겹 교차검증을 사용하여 모델 성능을 평가하고, 개별 데이터 소스에 훈련된 단일작업 GP 모델과의 성능을 비교하여 향상 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 다중작업 가우시안 프로세스는 저밀도 DFT 데이터와 고밀도 RPA 또는 실험 데이터를 효과적으로 융합하여 전이 금속 표면의 침착 에너지 예측 정확도를 향상시킬 수 있는가?
• RQ2 저밀도 데이터의 양이 증가할수록 목표 정확도에 도달하기 위해 필요한 고밀도 데이터 포인트의 수는 어떻게 변화하는가?
• RQ3 무작위 샘플링 대비 활성 학습이 고밀도 데이터 포인트의 수를 얼마나 줄일 수 있으며, 이로 인해 모델 성능은 유지되는가?
• RQ4 저밀도 함수형(예: PBE 대비 BEEF-vdW)의 선택이 MT-GP 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 단일작업 모델(예: RPA 또는 실험 데이터 전용)에 훈련된 모델보다 MT-GP 모델이 예측 정확도와 불확실성 추정 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• FC-PBE와 FC-BEEF를 소스 작업으로 사용하여 훈련한 MT-GP 모델은 FC-RPA 타겟 세트에서 평균 절대 오차(MAE)가 0.12 eV로 나타나 단일작업 모델보다 유의미하게 뛰어난 성능을 보였다.
• FC-PBE 데이터 포인트 200개를 소스로 사용할 경우, 전체 FC-RPA 데이터셋을 사용한 단일작업 GP 모델과 동일한 정확도를 달성하면서 FC-RPA 데이터 포인트 수가 10개 미만으로 줄어들었다.
• 단지 60개의 FC-RPA 데이터 포인트만 사용하여도, 전체 FC-PBE 데이터를 사용한 모델과 유사한 MAE를 달성하였으며, 이는 고밀도 데이터 요구량이 67% 감소한 것으로 나타났다.
• MT-GP에서의 평균 예측 표준편차(MPSd)는 신뢰할 수 있는 불확실성 추정기로 기능하였으며, 초기에는 데이터 부족으로 오차를 과소평가하다가 후속 단계에서 MAE를 잘 따라가며 활성 학습의 조기 종료를 가능하게 하였다.
• MT-GP에서 FC-BEEF와 FC-RPA 간의 상관관계는 FC-PBE와 FC-RPA 간의 상관관계보다 더 강했다. 이는 BEEF-vdW가 표면 과학 데이터에 기반하여 파arameterization되어 있어 체계적 오차를 줄였기 때문으로 보인다.
• 저밀도 데이터 포인트 수가 증가할수록 목표 정확도에 도달하기 위해 필요한 고밀도 데이터 포인트 수가 감소하는 경향을 보였다. 예를 들어, FC-PBE 데이터 포인트 100개를 사용할 경우 140개의 FC-RPA 포인트가 필요했지만, 200개를 사용할 경우 60개로 줄어들었다.