[논문 리뷰] pyPESTO: A modular and scalable tool for parameter estimation for dynamic models

Yannik Schälte, Fabian Fröhlich외 15명|arXiv (Cornell University)|2023. 05. 02.

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology참고 문헌 19인용 수 3

한 줄 요약

pyPESTO는 동적 모델, 특히 미분방정식(ODE) 시스템에서 스케일러블한 매개변수 추정을 위한 모듈러하고 오픈소스인 파이썬 프레임워크입니다. 최적화, 불확실성 정량화, 시각화를 표준화된 파이프라인을 통해 통합하며, 국소 및 글로벌 솔버, 베이지안 및 빈도주의 추론, AMICI 및 PyMC와 같은 인기 있는 도구와의 통합을 지원합니다.

ABSTRACT

Mechanistic models are important tools to describe and understand biological processes. However, they typically rely on unknown parameters, the estimation of which can be challenging for large and complex systems. We present pyPESTO, a modular framework for systematic parameter estimation, with scalable algorithms for optimization and uncertainty quantification. While tailored to ordinary differential equation problems, pyPESTO is broadly applicable to black-box parameter estimation problems. Besides own implementations, it provides a unified interface to various popular simulation and inference methods. pyPESTO is implemented in Python, open-source under a 3-Clause BSD license. Code and documentation are available on GitHub (https://github.com/icb-dcm/pypesto).

연구 동기 및 목표

• 복잡한 동적 생물학 모델, 특히 미분방정식(ODE)으로 제어되는 모델에서 알 수 없는 매개변수를 추정하는 데 도전하는 문제를 해결하기 위해.
• 체계생물학에서의 매개변수 추정을 위한 다양한 추론 방법을 지원하는 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• 모듈러한 설계, 병렬 처리, 그리고 기존의 시뮬레이션 및 추론 도구와의 상호운용성을 통해 스케일러블하고 효율적인 매개변수 추정을 가능하게 하기 위해.
• 빈도주의 및 베이지안 불확실성 정량화 방법(예: 프로파일 가능도 및 마르코프 체인 몬테카를로 샘플링 포함)을 지원하기 위해.
• 문제 정의에서 결과 분석에 이르기까지 전체 매개변수 추정 워크플로우를 일관되고 사용자 友好的한 인터페이스로 단순화하기 위해.

제안 방법

• 매개변수 추정 문제를 정의하기 위해 PETab 표준을 사용하여 기존 모델 레포지터리 및 도구와의 상호운용성을 보장합니다.
• 다양한 최적화 라이브러리(예: Ipopt, Dlib, SciPy, NLopt, PySwarms, pycma)에 대한 통합 인터페이스를 제공하며, 국소 및 글로벌 최적화 전략을 모두 지원합니다.
• 사용자 정의 함수 또는 적응형 유한차분을 통한 도함수 계산을 지원하여 수렴 속도와 정확도를 향상시킵니다.
• 상대적 데이터 및 노이즈 매개변수를 위한 계층적 최적화를 구현하여 고차원 문제에서의 강건성을 향상시킵니다.
• 베이지안 샘플링 방법(적응형 메트로폴리스, 적응형 평행 냉각)을 구현하며, Emcee, PyMC, Dynesty와의 인터페이스를 통해 기울기 기반 샘플러도 지원합니다.
• HDF5 기반 결과 저장 및 시각화 도구를 제공하여 대규모 데이터 처리의 효율성과 재현 가능성을 확보합니다.

실험 결과

연구 질문

• RQ1 모듈러하고 확장 가능한 프레임워크는 동적 생물학 모델의 매개변수 추정에서 재현 가능성과 확장성에 어떻게 기여할 수 있는가?
• RQ2 pyPESTO의 다중 시작 전략은 시스템생물학에서 흔한 비凸, 다모달 likelihood 표면을 해결하는 데 얼마나 효과적인가?
• RQ3 pyPESTO는 ODE 기반 매개변수 추정을 위한 단일이고 일관된 인터페이스로 다양한 최적화 및 샘플링 도구를 얼마나 효과적으로 통합할 수 있는가?
• RQ4 pyPESTO가 빈도주의(프로파일 가능도) 및 베이지안(프로파일 사후분포) 불확실성 정량화 방법을 지원함으로써 모델 신뢰도는 얼마나 향상되는가?
• RQ5 pyPESTO는 데스크톱부터 고성능 컴퓨팅 클러스터에 이르기까지 다양한 컴퓨팅 인프라에서 얼마나 잘 스케일링되는가?

주요 결과

• pyPESTO는 ODE 기반 및 블랙박스 매개변수 추정 문제를 포함한 다양한 동적 모델에서 체계적인 매개변수 추정을 가능하게 합니다.
• ODE 시뮬레이션을 위한 AMICI 및 베이지안 추론을 위한 PyMC와의 통합을 통해 사용성과 상호운용성을 향상시켰습니다.
• pyPESTO의 다중 시작 글로벌화 전략은 복잡하고 다모달인 가능도 표면을 효과적으로 탐색하여 전역 최적해에의 수렴을 향상시켰습니다.
• 프로파일 가능도 및 MCMC 샘플링을 통한 빈도주의 및 베이지안 불확실성 정량화 방법의 구현은 추정된 매개변수에 대한 견고한 신뢰도 평가를 제공합니다.
• HDF5 기반 결과 저장 방식을 통해 대규모 추정 결과의 효율적이고 압축된, 재현 가능한 처리가 가능해졌습니다.
• pyPESTO는 최소 12篇의 논문에서 이미 채택되었으며, 세 기관에 걸친 핵심 팀에 의해 지속적으로 유지되고 있어 강력한 연구 유용성과 커뮤니티 수용을 보여줍니다.