[论文解读] Introducing Thermodynamics-Informed Symbolic Regression -- A Tool for Thermodynamic Equations of State Development

Viktor Martinek, Ophelia Frotscher+2 more|arXiv (Cornell University)|Sep 6, 2023

Machine Learning in Materials Science被引用 5

一句话总结

本文提出热力学信息符号回归（TiSR），一种专门用于加速热力学状态方程（EOS）开发的符号回归工具。通过将热力学约束、先进的残差处理与早期停止机制整合进遗传编程框架，TiSR 能够从零散的实验数据中自动发现准确且物理解释一致的 EOS 模型，显著降低对专家直觉和迭代调优的依赖。

ABSTRACT

Thermodynamic equations of state (EOS) are essential for many industries as well as in academia. Even leaving aside the expensive and extensive measurement campaigns required for the data acquisition, the development of EOS is an intensely time-consuming process, which does often still heavily rely on expert knowledge and iterative fine-tuning. To improve upon and accelerate the EOS development process, we introduce thermodynamics-informed symbolic regression (TiSR), a symbolic regression (SR) tool aimed at thermodynamic EOS modeling. TiSR is already a capable SR tool, which was used in the research of https://doi.org/10.1007/s10765-023-03197-z. It aims to combine an SR base with the extensions required to work with often strongly scattered experimental data, different residual pre- and post-processing options, and additional features required to consider thermodynamic EOS development. Although TiSR is not ready for end users yet, this paper is intended to report on its current state, showcase the progress, and discuss (distant and not so distant) future directions. TiSR is available at https://github.com/scoop-group/TiSR and can be cited as https://doi.org/10.5281/zenodo.8317547.

研究动机与目标

• 解决热力学状态方程（EOS）开发耗时且依赖专家经验的问题。
• 减少在 EOS 模型构建过程中对人工调优和专家直觉的依赖。
• 将热力学约束与物理一致性整合进符号回归，以提升模型可靠性。
• 实现从实验数据中自动发现新颖且简化的 EOS 功能形式。
• 通过可定制的残差处理与早期停止机制，支持高效、可扩展的 EOS 建模，防止过拟合。

提出的方法

• 以 SymbolicRegression.jl 库为基础，扩展其功能以支持热力学特定需求。
• 采用改进的 NSGA-II 遗传算法，并结合岛屿模型实现多目标优化。
• 实施多步个体实例化流程，包括参数移除、表达式剪枝与语法检查。
• 使用 Levenberg-Marquardt 优化算法并结合早期停止策略，以最小化均方处理误差，防止过拟合。
• 支持可定制的残差处理，包括加权处理、不确定性整合以及用户自定义后处理函数。
• 实现奇点预防与约束违反追踪机制，为未来集成以强制实现热力学一致性提供支持。

实验结果

研究问题

• RQ1 能否通过引入热力学约束来增强符号回归，从而加速 EOS 的开发？
• RQ2 TiSR 在处理零散、含噪的实验数据时，能否有效保持物理一致性？
• RQ3 早期停止在符号回归用于 EOS 建模时，能在多大程度上提升泛化能力与计算效率？
• RQ4 TiSR 是否能在无需人工专家干预的情况下发现简化且准确的 EOS 形式？
• RQ5 残差预处理与后处理的集成，如何提升模型的精度与鲁棒性？

主要发现

• TiSR 成功将热力学约束与残差处理整合进符号回归，实现了自动化的、物理信息驱动的 EOS 模型发现。
• 采用早期停止策略可减少过拟合，并通过在验证数据性能开始下降时终止参数拟合，提升泛化能力。
• 可定制的残差处理（包括加权与不确定性感知的误差度量）显著增强了模型在含噪实验数据上的鲁棒性。
• 通过在拟合性能较差的表达式上提前终止参数估计，TiSR 显著降低了计算成本，实现显著的性能提升。
• TiSR 的灵活架构支持快速原型设计与功能扩展，如约束强制、奇点预防与 LASSO 正则化等。
• 该框架已能生成准确且简化的 EOS 模型，其有效性已在先前工作中通过同一工具（Frotscher et al., 2023）得到验证。