[論文レビュー] BioPreDyn-bench: benchmark problems for kinetic modelling in systems biology

Alejandro F. Villaverde, David Henriques+11 more|arXiv (Cornell University)|Jul 22, 2014

Gene Regulatory Network Analysis参考文献 67被引用数 3

ひとこと要約

本稿では、エシカ・コリ、ユリカ、ショウジョウブなど多様な生物における代謝、転写、シグナル伝達、発生をカバーする6つの大規模な動的モデル問題を含む包括的なベンチマークスイート、BioPreDyn-benchを紹介する。Matlab、C、COPASIでの即時実行可能実装を提供しており、パラメータ推定手法の体系的評価と比較を可能にし、再現性のある結果と標準化された性能指標を提供することで、最適化およびシステム生物学研究を支援する。

ABSTRACT

Dynamic modelling is one of the cornerstones of systems biology. Many research efforts are currently being invested in the development and exploitation of large-scale kinetic models. The associated problems of parameter estimation (model calibration) and optimal experimental design are particularly challenging. The community has already developed many methods and software packages which aim to facilitate these tasks. However, there is a lack of suitable benchmark problems which allow a fair and systematic evaluation and comparison of these contributions. Here we present BioPreDyn-bench, a set of challenging parameter estimation problems which aspire to serve as reference test cases in this area. This set comprises six problems including medium and large-scale kinetic models of the bacterium E. coli, baker's yeast S. cerevisiae, the vinegar fly D. melanogaster, Chinese Hamster Ovary cells, and a generic signal transduction network. The level of description includes metabolism, transcription, signal transduction, and development. For each problem we provide (i) a basic description and formulation, (ii) implementations ready-to-run in several formats, (iii) computational results obtained with specific solvers, (iv) a basic analysis and interpretation. This suite of benchmark problems can be readily used to evaluate and compare parameter estimation methods. Further, it can also be used to build test problems for sensitivity and identifiability analysis, model reduction and optimal experimental design methods. The suite, including codes and documentation, can be freely downloaded from http://www.iim.csic.es/%7egingproc/biopredynbench/.

研究の動機と目的

• システム生物学における動的モデルキャリブレーションのための標準化された大規模ベンチマーク問題の不足に対処すること。
• 多様な生物学的システムおよびモデルスケールを対象としたパラメータ推定アルゴリズムの公平かつ体系的な評価を可能にすること。
• Matlab、C、SBML、COPASIなど複数フォーマットでの即時実行可能実装を提供し、広範なコミュニティの採用を促進すること。
• パラメータ推定に加え、感度分析、同定可能性、モデル簡略化、最適実験設計の支援を可能にすること。
• 新しい最適化およびモデリング手法の検証のための基準テストベッドとして機能すること。

提案手法

• ベンチマークスイートは、代謝（エシカ・コリ、CHO細胞）、転写（ショウジョウブ）、シグナル伝達（一般ネットワーク）、発生（ショウジョウブ）を表す6つの異なる動的モデルから構成される。
• 各問題には、時間発展する生化学反応を記述する動的常微分方程式（ODE）を含む詳細な数学的定式化が含まれる。
• 実装は複数のフォーマットで提供される：ネイティブMatlab、C、SBML（B1–B5用）、COPASI（B1–B4用）、広範なアクセス性を確保する。
• 実際の測定の不確実性とばらつきを模倣するため、イン・シリコでノイズを含む疑似実験データが生成される。
• 特定のソルバーを用いて標準化された最適化ワークフローが適用され、基準解が計算される。目的関数には二乗和および正規化平均二乗誤差（NRMSE）が含まれる。
• パフォーマンス評価には、目的関数値、NRMSE、および名目（真の）値とのパラメータ回復精度の比較が含まれ、収束性と同定可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存のパラメータ推定アルゴリズムは、大規模で非線形的かつ制約付きの動的モデルにおいて、既知のパラメータ値をどれほど正確に再現できるか？
• RQ2 多峰性で非凸なパラメータ推定問題において、異なる最適化手法がグローバル最適解にどれほど収束するか？
• RQ3 ベンチマーク問題において、目的関数値とNRMSE指標はどの程度相関するか？また、これらはモデルの適合度とパラメータ同定可能性について何を明らかにするか？
• RQ4 このベンチマークスイートは、新しい手法のパラメータ推定、感度分析、最適実験設計の評価を信頼性高く支援できるか？
• RQ5 モデルの複雑さと生物学的システムの種別（例：代謝対発生）は、パラメータ推定の難易度にどのように影響するか？

主な発見

• ベンチマークスイートは、複雑な生物学的ダイナミクス、特にNFκBシグナル伝達における振動を正確に再現し、高い非線形性にもかかわらず正確なデータ適合を示した。
• ベンチマークB1では、キャリブレーション後の目的関数値（$J_f$）が名目値（$J_{nom}$）を下回り、適合性の向上を示した。NRMSEも低下し、一貫した性能向上が確認された。
• ベンチマークB4では、目的関数値が上昇した（$J_f > J_{nom}$）が、NRMSEは低下した。これは目的関数と誤差指標の間でトレードオフが生じていることを示し、複数の評価基準の重要性を強調した。
• 一部のケースではパラメータ回復が不十分であった：B4では最適解が名目パラメータベクトルから顕著に逸脱し、絶対値およびパcent差の両方で大きな偏差を示した。これは強い同定可能性の問題を示唆した。
• ベンチマークスイートは、Matlab、C、COPASIでの実装により、プラットフォーム間で再現性のある結果を提供し、アルゴリズム性能の一貫した比較を可能にした。
• 本スイートはパラメータ推定にとどまらず、感度、同定可能性、モデル簡略化の研究を支援しており、すべてのモデルとデータが再利用可能で無料で提供されている。