[논문 리뷰] Introducing Thermodynamics-Informed Symbolic Regression -- A Tool for Thermodynamic Equations of State Development

Viktor Martinek, Ophelia Frotscher외 2명|arXiv (Cornell University)|2023. 09. 06.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 열역학적 제약 조건, 고급 잔차 처리 및 조기 정지 기법을 통합한 유전적 프로그래밍 기반의 특화된 기호 회귀 도구인 열역학적 제약을 통합한 기호 회귀(TiSR)를 소개한다. 이는 산재한 실험 데이터로부터 정확하고 물리적으로 일관된 상태방정식(EOS) 모델을 자동으로 발견함으로써 열역학적 상태방정식 개발을 가속화한다. 이로 인해 전문가의 직관적 판단과 반복적인 튜닝에 대한 의존도가 크게 감소한다.

ABSTRACT

Thermodynamic equations of state (EOS) are essential for many industries as well as in academia. Even leaving aside the expensive and extensive measurement campaigns required for the data acquisition, the development of EOS is an intensely time-consuming process, which does often still heavily rely on expert knowledge and iterative fine-tuning. To improve upon and accelerate the EOS development process, we introduce thermodynamics-informed symbolic regression (TiSR), a symbolic regression (SR) tool aimed at thermodynamic EOS modeling. TiSR is already a capable SR tool, which was used in the research of https://doi.org/10.1007/s10765-023-03197-z. It aims to combine an SR base with the extensions required to work with often strongly scattered experimental data, different residual pre- and post-processing options, and additional features required to consider thermodynamic EOS development. Although TiSR is not ready for end users yet, this paper is intended to report on its current state, showcase the progress, and discuss (distant and not so distant) future directions. TiSR is available at https://github.com/scoop-group/TiSR and can be cited as https://doi.org/10.5281/zenodo.8317547.

연구 동기 및 목표

• 열역학적 상태방정식(EOS) 개발에 소요되는 시간과 전문가 의존도를 줄이기 위해.
• EOS 모델 설정 과정에서 수작업 튜닝과 전문가의 직관적 판단에 대한 의존도를 감소시키기 위해.
• 기호 회귀에 열역학적 제약 조건과 물리적 일관성을 통합하여 모델 신뢰도를 향상시키기 위해.
• 실험 데이터로부터 수동적 전문가 간섭 없이 간단화된 새로운 EOS 기능 형태를 자동으로 발견하기 위해.
• 사용자 정의 가능한 잔차 처리 및 조기 정지를 통해 과적합을 방지하고 효율적이고 확장 가능한 EOS 모델링을 지원하기 위해.

제안 방법

• 기초로 SymbolicRegression.jl 라이브러리를 활용하며, 열역학적 특화 기능을 추가로 확장한다.
• 다중 목적 최적화를 위한 이소형 모델을 적용한 수정된 NSGA-II 유전적 알고리즘을 사용한다.
• 매개변수 제거, 식 간소화, 문법 검사 등을 포함한 다단계 개체 생성 프로세스를 적용한다.
• Levenberg-Marquardt 최적화와 함께 조기 정지를 통합하여 평균 제곱 처리 오차를 최소화하고 과적합을 방지한다.
• 가중치 부여, 불확실성 통합, 사용자 정의 후처리 함수를 포함한 사용자 정의 가능한 잔차 처리를 지원한다.
• 미래의 통합을 위해 특이점 방지 및 제약 위반 추적 기능을 구현한다.

실험 결과

연구 질문

• RQ1 기호 회귀에 열역학적 제약 조건을 통합함으로써 상태방정식 개발을 얼마나 빠르게 개선할 수 있는가?
• RQ2 TiSR는 물리적 일관성을 유지하면서 산재하고 노이즈가 많은 실험 데이터를 얼마나 효과적으로 처리할 수 있는가?
• RQ3 조기 정지가 기호 회귀의 일반화 능력과 계산 효율성에 얼마나 기여하는가?
• RQ4 TiSR는 수동적 전문가 간섭 없이 단순화되고 정확한 상태방정식 형태를 발견할 수 있는가?
• RQ5 잔차 사전 및 사후 처리 통합이 모델 정확도와 강건성에 얼마나 기여하는가?

주요 결과

• TiSR는 열역학적 제약 조건과 잔차 처리를 기호 회귀에 성공적으로 통합하여 물리적 제약 조건을 반영한 자동 EOS 모델 발견을 가능하게 하였다.
• 조기 정지 기법을 통해 검증 데이터 성능이 저하되기 시작할 무렵에 매개변수 피팅을 종료함으로써 과적합을 줄이고 일반화 능력을 향상시켰다.
• 가중치 부여 및 불확실성 인식 오차 지표를 포함한 사용자 정의 가능한 잔차 처리 기법은 노이즈가 많은 실험 데이터에서 모델의 강건성을 향상시켰다.
• 성능이 열악한 식에 대해서는 매개변수 추정을 조기에 중단함으로써 계산 비용을 줄였으며, 이로 인해 성능 향상이 두드러졌다.
• TiSR의 유연한 아키텍처는 제약 조건 강제화, 특이점 방지, LASSO 정규화 등의 기능을 신속하게 프로토타이핑하고 확장할 수 있도록 하였다.
• 기존 연구(Frotscher 등, 2023)에서 동일한 도구를 사용하여 검증된 바와 같이, 이 프레임워크는 정확하고 단순화된 EOS 모델을 생성하는 데 이미 유의미한 성능 향상을 보였다.