[論文レビュー] Introducing Thermodynamics-Informed Symbolic Regression -- A Tool for Thermodynamic Equations of State Development

Viktor Martinek, Ophelia Frotscher+2 more|arXiv (Cornell University)|Sep 6, 2023

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、熱力学的制約、高度な残差処理、および早期停止を統合した遺伝的プログラミングフレームワークを備えた、熱力学的状態方程式（EOS）の開発を加速する専用の記号的回帰ツールである熱力学的制約付き記号的回帰（TiSR）を紹介する。この手法により、散在する実験データから物理的に整合性のある正確なEOSモデルを自動で発見可能となり、熟練した専門的直感や反復的チューニングへの依存が顕著に低減される。

ABSTRACT

Thermodynamic equations of state (EOS) are essential for many industries as well as in academia. Even leaving aside the expensive and extensive measurement campaigns required for the data acquisition, the development of EOS is an intensely time-consuming process, which does often still heavily rely on expert knowledge and iterative fine-tuning. To improve upon and accelerate the EOS development process, we introduce thermodynamics-informed symbolic regression (TiSR), a symbolic regression (SR) tool aimed at thermodynamic EOS modeling. TiSR is already a capable SR tool, which was used in the research of https://doi.org/10.1007/s10765-023-03197-z. It aims to combine an SR base with the extensions required to work with often strongly scattered experimental data, different residual pre- and post-processing options, and additional features required to consider thermodynamic EOS development. Although TiSR is not ready for end users yet, this paper is intended to report on its current state, showcase the progress, and discuss (distant and not so distant) future directions. TiSR is available at https://github.com/scoop-group/TiSR and can be cited as https://doi.org/10.5281/zenodo.8317547.

研究の動機と目的

• 熱力学的状態方程式（EOS）の開発にかかる時間と専門的依存の問題を解決すること。
• EOSモデルの構築における手動チューニングや専門的直感への依存を低減すること。
• 記号的回帰に熱力学的制約と物理的整合性を統合し、モデルの信頼性を向上させること。
• 実験データから自動で新規で簡潔なEOS関数形を発見できること。
• カスタマイズ可能な残差処理と早期停止を活用して、過剰適合を防ぎ、効率的かつスケーラブルなEOSモデリングを実現すること。

提案手法

• SymbolicRegression.jlライブラリを基盤とし、熱力学的特徴を拡張して適用する。
• 島モデルを用いた修正版NSGA-II遺伝的アルゴリズムを採用し、多目的最適化を実現する。
• パラメータの削除、式の短縮、文法チェックを含む複数段階の個体生成プロセスを実施する。
• Levenberg-Marquardt最適化と早期停止を組み合わせ、平均二乗処理誤差を最小化し、過剰適合を防止する。
• 重み付け、不確実性の組み込み、ユーザー定義の後処理関数を含む、カスタマイズ可能な残差処理をサポートする。
• 特異性防止と制約違反の追跡を実装し、将来的な熱力学的整合性の強制に向けた基盤を整備する。

実験結果

リサーチクエスチョン

• RQ1 記号的回帰に熱力学的制約を統合することで、EOSの開発がどの程度加速できるか？
• RQ2 TiSRは、散在するノイズの多い実験データを処理しながらも、物理的整合性を維持できるか？
• RQ3 早期停止は、記号的回帰におけるEOSの一般化性能と計算効率をどの程度向上させるか？
• RQ4 TiSRは、手動の専門的介入なしに、簡潔で正確なEOS形式を発見できるか？
• RQ5 残差の事前および事後処理の統合は、モデルの精度と頑健性をどの程度向上させるか？

主な発見

• TiSRは、熱力学的制約と残差処理を記号的回帰に統合し、物理的根拠に基づいた自動EOSモデル発見を可能にした。
• 早期停止の導入により、検証データの性能が劣化し始めた段階でパラメータ適合を終了することで、過剰適合が低減され、一般化性能が向上した。
• 重み付きおよび不確実性を考慮した誤差指標を含む、カスタマイズ可能な残差処理により、ノイズの多い実験データに対するモデルの頑健性が向上した。
• 適合が悪い式に対しては、パラメータ推定を早期に停止させることで、計算コストを顕著に削減し、性能向上を達成した。
• TiSRの柔軟なアーキテクチャにより、制約強制、特異性防止、LASSO正則化などの機能の迅速なプロトタイピングと拡張が可能となった。
• 本研究で使用したツールを用いた先行研究（Frotscherら、2023年）の検証結果から、TiSRは正確で簡潔なEOSモデルの生成がすでに可能であることが示された。