[논문 리뷰] BioPreDyn-bench: benchmark problems for kinetic modelling in systems biology

Alejandro F. Villaverde, David Henriques외 11명|arXiv (Cornell University)|2014. 07. 22.

Gene Regulatory Network Analysis참고 문헌 67인용 수 3

한 줄 요약

이 논문은 대사, 전사, 신호 전달 및 다양한 생물에서의 발달을 포함하는 네 가지 분야의 큰 규모 동적 모델링 문제 6개로 구성된 종합적인 벤치마크 세트인 BioPreDyn-bench를 소개한다. 이는 Matlab, C 및 COPASI에서 실행 가능한 구현을 제공하여 파라미터 추정 방법의 체계적 평가와 비교를 가능하게 하며, 재현 가능한 결과와 최적화 및 시스템 생물학 연구를 위한 표준화된 성능 메트릭스를 제공한다.

ABSTRACT

Dynamic modelling is one of the cornerstones of systems biology. Many research efforts are currently being invested in the development and exploitation of large-scale kinetic models. The associated problems of parameter estimation (model calibration) and optimal experimental design are particularly challenging. The community has already developed many methods and software packages which aim to facilitate these tasks. However, there is a lack of suitable benchmark problems which allow a fair and systematic evaluation and comparison of these contributions. Here we present BioPreDyn-bench, a set of challenging parameter estimation problems which aspire to serve as reference test cases in this area. This set comprises six problems including medium and large-scale kinetic models of the bacterium E. coli, baker's yeast S. cerevisiae, the vinegar fly D. melanogaster, Chinese Hamster Ovary cells, and a generic signal transduction network. The level of description includes metabolism, transcription, signal transduction, and development. For each problem we provide (i) a basic description and formulation, (ii) implementations ready-to-run in several formats, (iii) computational results obtained with specific solvers, (iv) a basic analysis and interpretation. This suite of benchmark problems can be readily used to evaluate and compare parameter estimation methods. Further, it can also be used to build test problems for sensitivity and identifiability analysis, model reduction and optimal experimental design methods. The suite, including codes and documentation, can be freely downloaded from http://www.iim.csic.es/%7egingproc/biopredynbench/.

연구 동기 및 목표

• 시스템 생물학에서 동적 모델 校정을 위한 표준화되고 큰 규모의 벤치마크 문제의 부족을 해결하기 위해.
• 다양한 생물학적 시스템과 모델 규모 간에 파라미터 추정 알고리즘의 공정하고 체계적인 평가를 가능하게 하기 위해.
• Matlab, C, SBML, COPASI 등 다양한 형식으로 실행 가능한 구현을 제공하여 광범위한 공동체 수용을 지원하기 위해.
• 파라미터 추정 외에도 민감도 분석, 식별 가능성, 모델 단순화 및 최적의 실험 설계를 지원하기 위해.
• 최신 최적화 및 모델링 방법의 검증을 위한 기준 테스트베드로 기능하기 위해.

제안 방법

• 벤치마크 세트는 대사(대장균, CHO 세포), 전사( budding yeast), 신호 전달(일반 네트워크), 발달(D. melanogaster)을 대표하는 6개의 서로 다른 동적 모델로 구성되어 있다.
• 각 문제에는 시간에 따라 변화하는 생화학 반응을 기술하는 동적 상미분 방정식(ODE)을 포함한 정밀한 수학적 기술이 수록되어 있다.
• 모델은 널리 사용되는 형식으로 구현되어 있다: 원시 Matlab, C, SBML(B1–B5용), COPASI(B1–B4용)로, 광범위한 접근성을 확보한다.
• 실제 측정의 불확실성과 변동성을 반영하기 위해 시뮬레이션을 통해 잡음이 포함된 가짜 실험 데이터가 생성된다.
• 특정 솔버를 사용하여 표준화된 최적화 워크플로우를 적용하여 기준 솔루션을 계산하며, 목적 함수로는 제곱합과 정규화된 평균 제곱근 오차(NRMSE)가 포함된다.
• 성능 평가에는 목적 함수 값, NRMSE, 그리고 명시된(진짜) 값에 대한 파라미터 복원 정확도를 비교하여 수렴성과 식별 가능성의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 기존의 파라미터 추정 알고리즘이 큰 규모의 비선형 및 제약 조건이 있는 동적 모델에서 알려진 파라미터 값을 얼마나 잘 재현할 수 있는가?
• RQ2 다중 최적화, 비凸 최적화 문제에서 다양한 최적화 방법이 국소 최적값이 아닌 전역 최적값으로 수렴하는 정도는 어느 정도인가?
• RQ3 벤치마크 문제에서 목적 함수 값과 NRMSE 메트릭 간의 상관관계는 어떻게 되며, 이는 모델 적합도와 파라미터 식별 가능성에 대해 어떤 통찰을 제공하는가?
• RQ4 이 벤치마크 세트는 신규 방법의 파라미터 추정, 민감도 분석 및 최적의 실험 설계 평가를 신뢰성 있게 지원할 수 있는가?
• RQ5 모델 복잡도와 생물학적 시스템 유형(예: 대사 vs. 발달)이 파라미터 추정의 난이도에 어떤 영향을 미치는가?

주요 결과

• 벤치마크 세트는 복잡한 생물학적 동역학, 특히 NFκB 신호 전달의 진동 현상(B5)을 정확하게 재현하여 높은 비선형성에도 불구하고 정확한 데이터 피팅을 보여준다.
• 벤치마크 B1에서 校정 후 목적 함수 값($J_f$)은 명시된 값($J_{nom}$)보다 낮아졌으며, 이는 피팅 향상의 증거로, NRMSE 역시 감소하여 일관된 성능 향상을 보였다.
• 벤치마크 B4에서는 목적 함수 값이 증가했지만(NRMSE는 감소), 이는 목적 함수와 오차 메트릭 간의 상충 관계를 보여주며, 다중 평가 기준의 중요성을 강조한다.
• 일부 경우에서 파라미터 복원 성능은 열악했다: B4에서 최적 해는 명시된 파라미터 벡터에서 크게 이격되어 있었으며, 절대값과 백분율 차이가 모두 커서 강한 식별 가능성 문제를 시사한다.
• 벤치마크 세트는 다양한 플랫폼 간에 재현 가능한 결과를 제공하며, Matlab, C, COPASI에서의 구현을 통해 알고리즘 성능 비교를 일관되게 가능하게 한다.
• 이 세트는 파라미터 추정 외에도 민감도, 식별 가능성 및 모델 단순화 연구를 지원하며, 모든 모델과 데이터는 재사용을 위해 무료로 제공된다.