[논문 리뷰] Understanding the language of molecules: Predicting pure component parameters for the PC-SAFT equation of state from SMILES

Benedikt Winter, Philipp Rehner외 3명|arXiv (Cornell University)|2023. 09. 21.

Machine Learning in Materials Science인용 수 8

한 줄 요약

자연어 처리 모델(SPT-PC-SAFT)이 SMILES로부터 PC-SAFT 순수 성분 매개변수를 직접 예측하고 PC-SAFT 방정식을 사용하여 증기압과 액체 밀도를 계산하며 실험 데이터로 엔드-투-엔드 학습합니다. 매개변수의 물리적 의미를 보존하고 다양한 분자에서 높은 정확도를 달성합니다.

ABSTRACT

A major bottleneck in developing sustainable processes and materials is a lack of property data. Recently, machine learning approaches have vastly improved previous methods for predicting molecular properties. However, these machine learning models are often not able to handle thermodynamic constraints adequately. In this work, we present a machine learning model based on natural language processing to predict pure-component parameters for the perturbed-chain statistical associating fluid theory (PC-SAFT) equation of state. The model is based on our previously proposed SMILES-to-Properties-Transformer (SPT). By incorporating PC-SAFT into the neural network architecture, the machine learning model is trained directly on experimental vapor pressure and liquid density data. Combining established physical modeling approaches with state-of-the-art machine learning methods enables high-accuracy predictions across a wide range of pressures and temperatures, while maintaining the physical meaning of PC-SAFT parameters. SPT-PCSAFT demonstrates exceptional prediction accuracy even for complex molecules with various functional groups, outperforming traditional group contribution methods by a factor of four in the mean average percentage deviation. Moreover, SPT-PCSAFT captures the behavior of stereoisomers without any special consideration. To facilitate the application of our model, we provide predicted PC-SAFT parameters of more than 13645 components, making PC-SAFT accessible to all researchers.

연구 동기 및 목표

• 지속 가능한 재료 및 공정에 대한 열물성 특성의 신속하고 물리적으로 기초한 예측을 촉진합니다.
• SMILES로부터 PC-SAFT 매개변수를 직접 예측하되 물리적 의미를 보존하는 엔드-투-엔드 ML 모델을 개발합니다.
• 실험적 증기압 및 액체 밀도 데이터로 학습하도록 PC-SAFT를 신경망에 통합합니다.
• 암시적, 상태방정식 계산을 다루기 위해 기존 SMILES-대-특성 프레임워크를 확장합니다.

제안 방법

• SMILES-to-Properties-Transformer (SPT) 아키텍처를decoder-only 트랜스포머로 사용하여 SMILES 입력을 처리합니다.
• 예측된 매개변수를 주어진 T(및 p)에서 p_sat 및 rho_L로 변환하기 위해 모델 헤드에 PC-SAFT 상태방정식을 통합합니다.
• 물리적 의미를 유지하기 위해 보조 PC-SAFT 매개변수 여섯 개와 결합 및 극성 가능성(likelihoods)을 예측합니다.
• 극성 및 연합성(association) 가능성을 sigmoid에서 도출된 가능성으로 계산하고 비극성/ 비연합 구성요소는 해당에 따라 설정합니다.
• 완전 연결 계산 그래프를 유지하기 위해 PyTorch에서 Helmholtz 에너지와 Newton-step 해를 구현하여 미분 가능한 학습을 가능하게 합니다.
• 데이터 정리 및 교차 검증 전략과 함께 실험적 증기압 및 액체 밀도 데이터로 엔드-투-엔드 학습합니다.

실험 결과

연구 질문

• RQ1 SMILES 기반 NLP 모델이 분자 구조로부터 직접 PC-SAFT 순수 구성요소 매개변수를 정확하게 예측할 수 있는가?
• RQ2 ML 모델에 PC-SAFT를 통합하면 매개변수의 물리적 의미를 보존하고 복잡한 분자 및 입체이성질체에 대해 견고한 외삽이 가능하게 하는가?
• RQ3 실험 데이터로 엔드-투-엔드 학습했을 때 다양한 데이터 세트에서 증기압 및 액체 밀도에 대한 예측 정확도(APD)가 어떻게 되는가?

주요 결과

• SPT-PC-SAFT는 PC-SAFT 매개변수를 예측하고 이를 모델 내에서 p_sat 및 rho_L을 계산하는 데 사용함으로써 높은 예측 성능을 달성합니다.
• 증기압 검증에서 모델은 870개 구성요소에 대해 평균 APD 13.5, 중앙값 APD 8.7을 보고합니다.
• 연합성(association) 및 극성 상호작용에 대한 조건부 처리를 포함하여 매개변수의 물리적 의미를 유지하는 접근법.
• 모델은 다양한 기능군을 가진 분자에서도 견고함을 보이고 특별한 처리 없이 입체이성질체를 구분할 수 있습니다.
• 데이터 정리 전략과 다중 데이터베이스에서의 학습을 활용하고 8개 분할 및 구조-분자 기반 분할로 교차 검증을 수행합니다.