[논문 리뷰] An Atomistic Machine Learning Package for Surface Science and Catalysis

Martin Hangaard Hansen, José Antonio Garrido Torres외 5명|arXiv (Cornell University)|2019. 04. 01.

Machine Learning in Materials Science참고 문헌 41인용 수 29

한 줄 요약

이 논문은 표면 과학 및 이종 촉매 분야를 위한 기계학습 소프트웨어 패키지인 CatLearn를 소개한다. 이 소프트웨어는 가우시안 프로세스와 정규화된 선형 모델을 사용하여 특성 공학, 서술자 선택, 모델 훈련을 자동화한다. 이는 불확실성 인식 가우시안 프로세스 회귀가 선형 모델보다 우수하며, SIS 사전 선별이 정확도 향상에 기여하지 못함을 보여주며, 촉매 재료 탐색을 위한 자동화된, 직관에 의존하지 않는 모델 구축의 가치를 부각시킨다.

ABSTRACT

We present work flows and a software module for machine learning model building in surface science and heterogeneous catalysis. This includes fingerprinting atomic structures from 3D structure and/or connectivity information, it includes descriptor selection methods and benchmarks, and it includes active learning frameworks for atomic structure optimization, acceleration of screening studies and for exploration of the structure space of nano particles, which are all atomic structure problems relevant for surface science and heterogeneous catalysis. Our overall goal is to provide a repository to ease machine learning model building for catalysis, to advance the models beyond the chemical intuition of the user and to increase autonomy for exploration of chemical space.

연구 동기 및 목표

• 표면 과학 및 촉매 분야의 기계학습 모델 구축을 단순화하기 위해 체계적이고 자동화된 워크플로우를 제공한다.
• 기존 화학적 직관을 초월한 데이터 기반 모델 개발을 통해 화학적 공간의 자율적 탐색을 가능하게 한다.
• 가우시안 프로세스를 통한 불확실성 추정을 통합하여 촉매 인포매틱스의 예측 정확도를 향상시킨다.
• 원자 구조 데이터 세트에서 다양한 서술자 선택 및 모델 훈련 전략을 비교 평가한다.
• GNU GPL 3.0 라이선스 하에 촉매 분야 공동체를 위해 확장 가능하고 스케일러블한 소프트웨어 레포지터리(CatLearn v1.0.0)를 개발한다.

제안 방법

• CatLearn는 원자 구조를 가져오고 처리하기 위해 Atomic Simulation Environment(ASE)를 사용하여 3차원 기하학적 구조와 연결성을 기반으로 자동으로 특성화를 수행한다.
• 이sovotropic 제곱 지수 커널을 사용하는 가우시안 프로세스 회귀(GPR)를 구현하여 불확실성 추정 및 파생값 예측(예: 힘)을 지원한다.
• 확장된 특성 집합에 대해 피어슨, 스피어만, 켄달 상관계수를 사용한 민감도 제거 및 Sure Independence Screening(SIS)를 통해 서술자 선택을 수행한다.
• 정규화된 선형 모델(LASSO, Ridge)은 기준 모델로 사용되며 고차원 특성 공간에서의 사전 선별에도 활용된다.
• GPR에서 유도된 불확실성 추정을 활용하여 활성 학습 워크플로우를 구현함으로써 나노입자 구조 공간의 최적화 및 탐색을 유도한다.
• 조합적 특성 확장을(예: $x_i \cdot x_j$, $\log(x)$, $\sqrt{x}$) 지원하고 차원 감소를 통해 비선형 상관관계를 식별한다.

실험 결과

연구 질문

• RQ1 자동화된 서술자 선택 및 모델 훈련 워크플로우가 인간의 직관을 초월하여 촉매 인포매틱스의 예측 정확도를 향상시킬 수 있는가?
• RQ2 불확실성 추정 기능을 갖춘 가우시안 프로세스 회귀는 표면에 흡착체 에너지를 예측하는 데 선형 모델보다 우수한가?
• RQ3 조합적 특성 확장 후 SIS 사전 선별이 원자 구조 데이터 세트의 모델 성능을 향상시키는가?
• RQ4 서로 상관관계가 있는 특성들이 표면 과학 응용 분야에서 모델 일반화 및 불확실성 추정에 미치는 영향은 무엇인가?
• RQ5 불확실성 추정 기반 활성 학습 프레임워크는 안정된 표면 구조 및 촉매 재료의 탐색을 가속화할 수 있는가?

주요 결과

• 자동 관련성 결정 기능을 갖춘 가우시안 프로세스 회귀(GPR)는 선형 모델보다 뛰어난 예측 성능을 보였으며, 원본 특성 집합에서 평균 절대 오차(MAE)는 약 0.14 eV였다.
• 조합적 특성 확장을 통해 특성 공간은 44,548차원으로 증가했지만, 이후 SIS 사전 선별 과정에서 중요한 특성이 손실되어 모델 정확도가 저하되었다.
• 특성 확장 및 SIS 이후 GPR 모델의 RMSE 및 MAE가 악화되었으며, MAE는 0.14 eV에서 0.18 eV로 증가하여 SIS가 이 맥락에서 예측 능력을 유지하는 데 효과적이지 않음을 시사한다.
• 민감도 제거는 특성 간 상관관계를 감소시키면서도 양호한 예측 점수를 유지함으로써 서술자 선택에 있어 효과적임을 입증하였다.
• 정규화된 선형 모델(LASSO, Ridge)은 기준 모델로 효과적이며 특성 스크리닝을 빠르게 수행할 수 있었지만, 동일한 데이터에서 GPR 성능을 능가하지 못했다.
• CatLearn 패키지는 GPR에서 유도된 불확실성 추정을 활용하여 활성 학습 워크플로우를 제공함으로써 화학적 공간의 효율적 탐색 및 원자 구조 최적화를 가능하게 한다.