[论文解读] BioPreDyn-bench: benchmark problems for kinetic modelling in systems biology

Alejandro F. Villaverde, David Henriques+11 more|arXiv (Cornell University)|Jul 22, 2014

Gene Regulatory Network Analysis参考文献 67被引用 3

一句话总结

本文介绍了BioPreDyn-bench，一个涵盖多种生物体中代谢、转录、信号转导和发育过程的六项大规模动力学建模问题的综合性基准测试套件。该套件提供了Matlab、C语言和COPASI格式的即用型实现，支持参数估计方法的系统性评估与比较，确保结果可重现，并提供标准化的性能指标，适用于优化与系统生物学研究。

ABSTRACT

Dynamic modelling is one of the cornerstones of systems biology. Many research efforts are currently being invested in the development and exploitation of large-scale kinetic models. The associated problems of parameter estimation (model calibration) and optimal experimental design are particularly challenging. The community has already developed many methods and software packages which aim to facilitate these tasks. However, there is a lack of suitable benchmark problems which allow a fair and systematic evaluation and comparison of these contributions. Here we present BioPreDyn-bench, a set of challenging parameter estimation problems which aspire to serve as reference test cases in this area. This set comprises six problems including medium and large-scale kinetic models of the bacterium E. coli, baker's yeast S. cerevisiae, the vinegar fly D. melanogaster, Chinese Hamster Ovary cells, and a generic signal transduction network. The level of description includes metabolism, transcription, signal transduction, and development. For each problem we provide (i) a basic description and formulation, (ii) implementations ready-to-run in several formats, (iii) computational results obtained with specific solvers, (iv) a basic analysis and interpretation. This suite of benchmark problems can be readily used to evaluate and compare parameter estimation methods. Further, it can also be used to build test problems for sensitivity and identifiability analysis, model reduction and optimal experimental design methods. The suite, including codes and documentation, can be freely downloaded from http://www.iim.csic.es/%7egingproc/biopredynbench/.

研究动机与目标

• 解决系统生物学中动力学模型校准缺乏标准化、大规模基准问题的现状。
• 实现对不同生物系统和模型规模下参数估计算法的公平且系统化的评估。
• 提供多种格式（Matlab、C、SBML、COPASI）的即用型实现，促进社区广泛采用。
• 不仅支持参数估计，还支持敏感性分析、可辨识性分析、模型简化及最优实验设计。
• 作为参考测试平台，用于验证系统生物学中新优化与建模方法的有效性。

提出的方法

• 该基准测试套件包含六个独立的动力学模型，分别代表不同的生物过程：代谢（大肠杆菌、CHO细胞）、转录（酿酒酵母）、信号转导（通用网络）以及发育（黑腹果蝇）。
• 每个问题均包含详细的数学公式，采用描述时间演化生化反应的常微分方程（ODE）系统。
• 模型以多种格式实现：原生Matlab、C语言、SBML（B1–B5）、COPASI（B1–B4），确保广泛可及性。
• 通过计算机模拟生成带噪声的伪实验数据，以模拟真实世界中的测量不确定性和变异性。
• 采用标准化的优化工作流程，使用特定求解器计算参考解，目标函数包括平方和与归一化均方根误差（NRMSE）。
• 性能评估包括目标函数值、NRMSE以及与标称（真实）值相比的参数恢复精度的比较，以评估收敛性和可辨识性。

实验结果

研究问题

• RQ1 现有参数估计算法在大规模、非线性、带约束的动力学模型中，对已知参数值的复现能力如何？
• RQ2 在多峰、非凸的参数估计问题中，不同优化方法在多大程度上能收敛到全局最优解？
• RQ3 在基准问题中，目标函数值与NRMSE指标之间存在何种相关性？它们揭示了模型拟合程度与参数可辨识性的哪些信息？
• RQ4 该基准测试套件能否可靠地支持新方法在参数估计、敏感性分析及最优实验设计中的评估？
• RQ5 模型复杂度和生物系统类型（如代谢与发育）如何影响参数估计的难度？

主要发现

• 该基准测试套件成功再现了复杂的生物动力学，包括NFκB信号通路中的振荡（B5），即使在高度非线性条件下也表现出准确的数据拟合。
• 在基准B1中，校准后的目标函数值（$J_f$）低于标称值（$J_{nom}$），表明拟合效果改善，同时NRMSE也下降，显示性能提升的一致性。
• 在基准B4中，目标函数值上升（$J_f > J_{nom}$）但NRMSE下降，表明目标函数与误差度量之间存在权衡，凸显了采用多种评估标准的重要性。
• 在某些情况下，参数恢复效果较差：例如B4中，最优解与标称参数向量显著偏离，绝对值偏差和百分比差异均较大，表明存在严重的可辨识性问题。
• 该基准测试套件实现了跨平台的可重现结果，Matlab、C语言和COPASI的实现确保了算法性能的一致比较。
• 该套件不仅支持参数估计，还支持敏感性、可辨识性及模型简化研究，所有模型与数据均可免费重用。