[论文解读] AI-Aristotle: A Physics-Informed framework for Systems Biology Gray-Box Identification

Nazanin Ahmadi Daryakenari, Mario De Florio+2 more|arXiv (Cornell University)|Sep 29, 2023

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

AI-Aristotle 是一种物理信息框架，结合了eXtreme Theory of Functional Connections（X-TFC）、Physics-Informed Neural Networks（PINNs）和符号回归（SR），以实现在系统生物学中高精度的参数估计与灰箱识别。该框架即使在数据有限的情况下，也能高精度地发现药代动力学和超昼夜内分泌模型中缺失的微分方程项，并通过鲁棒的符号回归工具（如PySR）生成可解释的符号表达式。

ABSTRACT

Discovering mathematical equations that govern physical and biological systems from observed data is a fundamental challenge in scientific research. We present a new physics-informed framework for parameter estimation and missing physics identification (gray-box) in the field of Systems Biology. The proposed framework -- named AI-Aristotle -- combines eXtreme Theory of Functional Connections (X-TFC) domain-decomposition and Physics-Informed Neural Networks (PINNs) with symbolic regression (SR) techniques for parameter discovery and gray-box identification. We test the accuracy, speed, flexibility and robustness of AI-Aristotle based on two benchmark problems in Systems Biology: a pharmacokinetics drug absorption model, and an ultradian endocrine model for glucose-insulin interactions. We compare the two machine learning methods (X-TFC and PINNs), and moreover, we employ two different symbolic regression techniques to cross-verify our results. While the current work focuses on the performance of AI-Aristotle based on synthetic data, it can equally handle noisy experimental data and can even be used for black-box identification in just a few minutes on a laptop. More broadly, our work provides insights into the accuracy, cost, scalability, and robustness of integrating neural networks with symbolic regressors, offering a comprehensive guide for researchers tackling gray-box identification challenges in complex dynamical systems in biomedicine and beyond.

研究动机与目标

• 解决利用数据驱动与物理信息方法识别生物系统微分方程中未知或缺失项的挑战。
• 开发一个统一框架，将神经网络与符号回归相结合，以提升系统生物学中模型的可解释性与保真度。
• 在不同数据条件下，评估并比较X-TFC与PINNs在参数估计与灰箱识别中的性能。
• 评估符号回归工具（PySR与gplearn）从训练好的神经网络代理中提炼可解释数学表达式的鲁棒性与效率。
• 为生物医学与动力系统提供可扩展、高精度且计算高效的灰箱识别解决方案。

提出的方法

• 该框架采用X-TFC与PINNs作为神经网络求解器，利用领域分解提升精度，以估计微分方程中的未知参数与缺失项。
• 通过物理信息约束将已知微分方程结构嵌入神经网络训练过程，确保物理一致性。
• 利用PySR与gplearn进行符号回归，从训练好的神经网络代理中提炼出可解释的闭式数学表达式。
• 结合最小二乘优化（X-TFC）与反向传播（PINNs）求解微分方程，性能在不同数据稀疏性水平下进行评估。
• 采用两个基准系统——药代动力学与超昼夜葡萄糖-胰岛素动力学——验证框架的准确性、鲁棒性与可扩展性。
• 通过两种SR工具进行交叉验证，确保所发现符号表达式的一致性与可靠性。

Figure 1 : Pharmacokinetics model: Schematic of the X-TFC algorithm. Input weights and biases are randomly selected. The last step solves iteratively a least squares system, thus no back-propagation is involved in the training, allowing fast computational times.

实验结果

研究问题

• RQ1 当数据稀疏或丰富时，X-TFC与PINNs在参数估计与灰箱识别中的性能表现如何比较？
• RQ2 像PySR与gplearn这样的符号回归工具能否可靠地从系统生物学模型的神经网络代理中恢复出可解释的数学表达式？
• RQ3 数据集大小对X-TFC与PINNs在灰箱识别中的准确性与计算效率有何影响？
• RQ4 所发现的符号表达式在不同SR实现与模型复杂度下具有多大程度的鲁棒性？
• RQ5 AI-Aristotle框架在真实生物医学应用中处理噪声或实验数据的能力如何？

主要发现

• 当数据充足时，X-TFC在精度与计算效率上均优于PINNs，原因在于其采用最小二乘优化而非反向传播。
• 在小样本数据集上，PINNs的精度高于X-TFC，表现出在数据稀缺场景下的优越性能。
• PySR在速度与鲁棒性方面始终优于gplearn，所需超参数调优更少，且在CPU上约10分钟内完成符号回归，而gplearn耗时可达一小时。
• 无论是使用PySR还是gplearn，符号回归过程均成功恢复了几乎相同的表达式，分别对应药代动力学与超昼夜内分泌模型，证实了结果的一致性。
• 该框架在识别微分方程中缺失项方面表现出高精度，所获得的符号表达式与真实函数形式高度吻合。
• AI-Aristotle框架能够有效处理含噪声的实验数据，并在标准笔记本电脑上仅用几分钟完成黑箱识别，展现出实际可扩展性。

Figure 2 : Pharmacokinetics model: Schematic of the PINNs algorithm for predicting the unknown term $h(t;\theta_{2})$ and the values of parameters simultaneously. Here, $\hat{u}(t;\theta_{1})$ is a vector that contains all three output states. Unlike the X-TFC network, PINNs requires back-propagatio