[論文レビュー] pyPESTO: A modular and scalable tool for parameter estimation for dynamic models

Yannik Schälte, Fabian Fröhlich+15 more|arXiv (Cornell University)|May 2, 2023

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology参考文献 19被引用数 3

ひとこと要約

pyPESTOは、特に常微分方程式（ODE）系に特化した、スケーラブルなパラメータ推定を実現するモジュラーでオープンソースのPythonフレームワークです。最適化、不確実性の定量化、可視化を標準化されたパイプラインで統合し、局所的およびグローバルなソルバーやベイズ推定・頻度主義的推定、AMICI や PyMC といった人気ツールとの統合をサポートします。

ABSTRACT

Mechanistic models are important tools to describe and understand biological processes. However, they typically rely on unknown parameters, the estimation of which can be challenging for large and complex systems. We present pyPESTO, a modular framework for systematic parameter estimation, with scalable algorithms for optimization and uncertainty quantification. While tailored to ordinary differential equation problems, pyPESTO is broadly applicable to black-box parameter estimation problems. Besides own implementations, it provides a unified interface to various popular simulation and inference methods. pyPESTO is implemented in Python, open-source under a 3-Clause BSD license. Code and documentation are available on GitHub (https://github.com/icb-dcm/pypesto).

研究の動機と目的

• 複雑な動的生物学的モデル、特に常微分方程式（ODE）で記述されるモデルにおける未知パラメータの推定という課題に取り組むこと。
• システム生物学におけるパラメータ推定に向けた、多様な推定手法をサポートする統合的かつ拡張可能なフレームワークを提供すること。
• モジュラー設計、並列処理、および既存のシミュレーション・推定ツールとの相互運用性を通じて、スケーラブルで効率的なパラメータ推定を実現すること。
• 頻度主義的（プロファイル尤度）およびベイズ的（プロファイル後確信度）の不確実性定量化手法をサポートすること。
• 問題定義から結果分析までの一連のパラメータ推定ワークフローを、一貫性があり使いやすいインターフェースで簡素化すること。

提案手法

• パラメータ推定問題の指定にPEtab標準を採用し、既存のモデルリポジトリやツールとの相互運用性を実現します。
• 複数の最適化ライブラリ（例：Ipopt、Dlib、SciPy、NLopt、PySwarms、pycma）への統一インターフェースを提供し、局所的およびグローバル最適化戦略の両方をサポートします。
• ユーザー定義関数または適応的有限差分による導出計算をサポートし、収束速度と精度を向上させます。
• 相対的データおよびノイズパラメータのための階層的最適化を実装し、高次元問題におけるロバストネスを向上させます。
• ベイズサンプリング手法（適応的メトロポリス、適応的並列温度法）を実装し、Emcee、PyMC、Dynesty へのインターフェースを通じて勾配ベースのサンプリングもサポートします。
• HDF5ベースの結果保存および可視化ツールを提供し、大規模な推定結果の効率的かつ再現可能な取り扱いを可能にします。

実験結果

リサーチクエスチョン

• RQ1 モジュラーかつ拡張可能なフレームワークは、動的生物学的モデルにおけるパラメータ推定の再現性とスケーラビリティをどのように向上させるか？
• RQ2 pyPESTOのマルチスタートグローバライゼーション戦略は、システム生物学に一般的な非凸的・マルチモーダルな尤度曲面を解く際に、どの程度の性能を示すか？
• RQ3 pyPESTOは、ODEベースのパラメータ推定に向け、多様な最適化およびサンプリングツールを一貫したインターフェースに統合できるか？
• RQ4 頻度主義的（プロファイル尤度）およびベイズ的（プロファイル後確信度）の不確実性定量化手法を統合することで、モデルの信頼性はどの程度向上するか？
• RQ5 pyPESTOは、デスクトップからハイパフォーマンスコンピューティングクラスタまで、さまざまな計算インfraストラクチャにおいて、どの程度スケーリングできるか？

主な発見

• pyPESTOは、ODEベースおよびブラックボックス型のパラメータ推定問題を含む、広範な動的モデルにおける体系的パラメータ推定を可能にします。
• AMICIによるODEシミュレーションやPyMCによるベイズ推定との統合により、使いやすさと相互運用性が向上しています。
• マルチスタートグローバライゼーション戦略により、複雑でマルチモーダルな尤度曲面を効果的に探索し、グローバル最適解への収束を改善しています。
• プロファイル尤度とMCMCサンプリングによる頻度主義的およびベイズ的不確実性定量化の実装により、推定されたパラメータの信頼性評価が堅牢に実現されています。
• HDF5ベースの結果保存により、大規模な推定結果の効率的でコンactかつ再現可能な取り扱いが可能になっています。
• pyPESTOは、少なくとも12件の出版物で採用されており、3か所の機関に所属するコアチームによって現在も活発にメンテナンスされており、研究的有用性とコミュニティの受容が明確です。