[논문 리뷰] SPT-NRTL: A physics-guided machine learning model to predict thermodynamically consistent activity coefficients

Benedikt Winter, Clemens Winter외 3명|arXiv (Cornell University)|2022. 09. 09.

Machine Learning in Materials Science인용 수 2

한 줄 요약

SPT-NRTL은 SMILES 표현을 기반으로 훈련된 트랜스포머 아키텍처를 사용하여 농도에 따라 변하는 열역학적으로 일관된 활동 계수를 예측하는 물리학에 기반한 기계학습 모델이다. 이 모델은 정확도에서 UNIFAC와 COSMO-RS를 뛰어넘으며, 물/에탄올 및 클로로포름/n-헥산과 같은 혼합물의 기화액평형 예측에서 실험에 근접한 정밀도를 달성하고, 1억 개의 혼합물에 대한 NRTL 파라미터를 온라인으로 제공하여 곧바로 공정 시뮬레이션에 활용할 수 있다.

ABSTRACT

The availability of property data is one of the major bottlenecks in the development of chemical processes, often requiring time-consuming and expensive experiments or limiting the design space to a small number of known molecules. This bottleneck has been the motivation behind the continuing development of predictive property models. For the property prediction of novel molecules, group contribution methods have been groundbreaking. In recent times, machine learning has joined the more established property prediction models. However, even with recent successes, the integration of physical constraints into machine learning models remains challenging. Physical constraints are vital to many thermodynamic properties, such as the Gibbs-Duhem relation, introducing an additional layer of complexity into the prediction. Here, we introduce SPT-NRTL, a machine learning model to predict thermodynamically consistent activity coefficients and provide NRTL parameters for easy use in process simulations. The results show that SPT-NRTL achieves higher accuracy than UNIFAC in the prediction of activity coefficients across all functional groups and is able to predict many vapor-liquid-equilibria with near experimental accuracy, as illustrated for the exemplary mixtures water/ethanol and chloroform/n-hexane. To ease the application of SPT-NRTL, NRTL-parameters of 100 000 000 mixtures are calculated with SPT-NRTL and provided online.

연구 동기 및 목표

• 화학 공정 개발에서 부족한 실험적 성질 데이터의 한계를 극복하기 위해.
• 농도에 따라 변하는 활동 계수를 열역학적 일관성과 함께 예측할 수 있는 기계학습 모델을 개발하기 위해.
• 특히 기브스-두헴 방정식을 포함한 물리적 제약 조건을 데이터 기반 모델에 통합하여 신뢰할 수 있는 상평형 예측을 가능하게 하기 위해.
• 사전에 계산된 NRTL 파라미터를 제공하여 표준 공정 시뮬레이션 소프트웨어에 직접 적용할 수 있도록 하기 위해.
• 제한된 활동 계수 예측을 넘어서 전체 이성분 혼합물 거동까지 예측 능력을 확장하기 위해.

제안 방법

• SMILES 문자열에서 활동 계수를 예측하도록 트랜스포머 기반 딥러닝 모델(SPT)을 미세조정한다.
• 전체 목분율 범위에서 열역학적 일관성을 확보하기 위해 기브스-두헴 방정식으로 모델을 제약한다.
• 다양체화 가능한 파라미터화를 통해 모델 출력에서 직접 NRTL 파라미터(α, Aij, Bij)를 예측한다.
• 실험 및 COSMO-RS 기반 參고 데이터를 포함한 농도에 따라 변하는 활동 계수 데이터의 대규모 데이터베이스를 기반으로 훈련한다.
• 멀티헤드 어텐션 메커니즘이 복잡한 분자 상호작용과 기능기초 기여도를 포착할 수 있도록 한다.
• 최종 모델인 SPT-NRTLFull은 훈련 세트에 포함되지 않은 혼합물, 특히 이소성계를 포함하여 검증된다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 전통적인 기능기초 기여 방법을 뛰어넘어 농도에 따라 변하는 활동 계수를 열역학적 일관성과 함께 예측할 수 있는가?
• RQ2 SPT-NRTL은 이성분 혼합물, 특히 이소성계를 포함하여 기화액평형을 얼마나 정확하게 예측할 수 있는가?
• RQ3 이 모델은 훈련 데이터 외부의 혼합물, 특히 물과 카복실산과 같은 도전적인 성분에 대해 얼마나 일반화되는가?
• RQ4 뉴럴 네트워크 아키텍처에 기브스-두헴 방정식과 같은 물리적 제약 조건을 통합하면 제약이 없는 모델보다 더 신뢰할 수 있고 일반화 능력이 뛰어난 예측을 가능하게 하는가?
• RQ5 실험적 피팅 없이도 대규모 공정 시뮬레이션에 활용 가능한 고품질의 NRTL 파라미터를 생성할 수 있는가?

주요 결과

• SPT-NRTL은 모든 기능기초 기초에서 UNIFAC 대비 활동 계수 예측의 평균 절대 오차를 약 50% 감소시켰다.
• 이전에 도전적이었던 물과 카복실산의 경우, 각각 ln γ 기준 평균 절대 오차가 0.4 및 0.5로, UNIFAC보다 여전히 유의미하게 낮았다.
• 물/에탄올 및 클로로포름/n-헥산 혼합물의 기화액평형을 실험에 근접한 정밀도로 정확히 예측하였으며, 이소성계의 위치와 거동을 올바르게 포착하였다.
• 예측 결과의 불확실성으로 인한 기화점/ mild점 온도의 최대 편차는 약 1 K 이내였으며, 대부분의 공학적 응용에 있어 수용 가능한 수준이었다.
• SPT-NRTL은 1억 개의 혼합물(10,000개의 고유한 분자 포함)에 대한 NRTL 파라미터를 제공하여 공정 시뮬레이션 소프트웨어에서 즉시 활용할 수 있도록 하였다.
• 모델은 물리학에 기반한 기계학습이 기본 물리 법칙과 일관성을 유지하면서도 복잡한 열역학적 성질을 신뢰성 있게 예측할 수 있음을 입증하였다.