[논문 리뷰] Squeeze-and-Breathe Evolutionary Monte Carlo Optimisation with Local Search Acceleration and its application to parameter fitting

Mariano Beguerisse-Díaz, Baojun Wang외 2명|arXiv (Cornell University)|2011. 07. 14.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 비선형 생물 모델의 매개변수를 효율적으로 피팅하기 위해 진화 전략, 순차적 몬테카를로 방법 및 국소 탐색을 통합한 새로운 Squeeze-and-Breathe 진화 몬테카를로(SBE-MC) 최적화 알고리즘을 제안한다. 매개변수 분포를 국소 최적화와 이력 사전분포로부터의 적응적 리샘플링을 반복적으로 개선함으로써, 알려지지 않은 매개변수 범위나 수십 개의 주요 자릿수 변화가 있는 경우에도 강건한 수렴을 달성한다. 이는 복잡하고 노이즈가 많으며 고차원적인 생물학적 매개변수 추정 문제에서 표준 히우리스틱 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Motivation: Estimating parameters from data is a key stage of the modelling process, particularly in biological systems where many parameters need to be estimated from sparse and noisy data sets. Over the years, a variety of heuristics have been proposed to solve this complex optimisation problem, with good results in some cases yet with limitations in the biological setting. Results: In this work, we develop an algorithm for model parameter fitting that combines ideas from evolutionary algorithms, sequential Monte Carlo and direct search optimisation. Our method performs well even when the order of magnitude and/or the range of the parameters is unknown. The method refines iteratively a sequence of parameter distributions through local optimisation combined with partial resampling from a historical prior defined over the support of all previous iterations. We exemplify our method with biological models using both simulated and real experimental data and estimate the parameters efficiently even in the absence of a priori knowledge about the parameters.

연구 동기 및 목표

• 자료가 희소하고 노이즈가 많으며 매개변수의 주요 자릿수 범위가 알려져 있지 않은 비선형 생물 모델에서의 매개변수 추정 과제를 해결하기 위해.
• 체계생물학에서 흔히 발생하는 전통적 최적화 방법의 한계—지역 최소값에 갇힘, 높은 계산 비용, 정확한 사전분포에 대한 의존성—을 극복하기 위해.
• 매개변수의 범위나 初기 분포에 대한 사전 지식이 필요 없는 강건하고 전역 수렴성을 확보하는 방법을 개발하기 위해.
• 비선형 매개변수 의존성이 있는 상미방정식으로 제어되는 모델에서 효율적이고 신뢰할 수 있는 매개변수 피팅을 가능하게 하기 위해.
• 예측 모델링, 모델 선택 및 실험 설계 지침을 지원함으로써 모델링-실험 루프를 완성하기 위해.

제안 방법

• 이 방법은 매개변수 분포를 정교화하기 위해 '압축'(국소 최적화)과 '숨결'(이력 사전분포로부터의 리샘플링) 단계를 번갈아 가며 시행하는 반복적 프레임워크를 사용한다.
• 전역 탐색을 위해 진화 알고리즘과 국소 탐색을 조합함으로써 낮은 오차를 가진 매개변수 집합으로의 수렴 속도를 가속화한다.
• 이력 사전분포는 반복 과정 동안 동적으로 업데이트되며, 이전에 샘플링된 모든 매개변수 집합의 지지역을 포괄하여 향후 탐색을 안내한다.
• 순차적 몬테카를로 원리를 활용해 가중치가 부여된 리샘플링을 통해 사전분포를 사후분포로 매핑함으로써 낮은 오차 영역에 집중한다.
• 해석적 해가 없는 모델에 적합하도록 비용 함수의 명시적 계산을 피하고 시뮬레이션 기반 오차 평가를 사용한다.
• 변경, 선택 및 국소 정밀 조정의 조합에 의해 매개변수 업데이트가 이뤄져 다양성과 수렴성을 모두 확보한다.

실험 결과

연구 질문

• RQ1 진화적, 몬테카를로적, 국소 탐색 전략을 융합한 하이브리드 최적화 프레임워크가 제한된 데이터를 가진 비선형 생물 모델에서의 매개변수 피팅을 향상시킬 수 있는가?
• RQ2 진짜 매개변수 값이 초기 사전분포의 지지역 외부에 있을 경우, 특히 주요 자릿수 범위가 알려져 있지 않은 경우 이 방법은 어떻게 성능을 보이는가?
• RQ3 국소 탐색 가속화가 표준 진화적 또는 순수 몬테카를로 방법에 비해 수렴 속도를 얼마나 향상시키는가?
• RQ4 선형성이나 명시적 비용 함수가 필요 없이도, Michaelis-Menten 동역학과 같은 비선형 매개변수 의존성이 있는 모델에서 이 방법이 신뢰성 있게 매개변수를 추정할 수 있는가?
• RQ5 이력 사전분포 메커니즘이 고차원이고 다모달인 매개변수 공간에서 탐색을 향상시키고 조기 수렴을 방지하는 데 어떤 기여를 하는가?

주요 결과

• SBE-MC 알고리즘은 진짜 매개변수 값보다 수십 개의 주요 자릿수 더 넓은 초기 사전분포를 가진 경우에도 비선형 ODE 모델의 매개변수를 성공적으로 추정하며, 과도하게 넓은 사전분포가 필요 없음을 보였다.
• 모의 실험 및 실제 실험 데이터 모두에서 효율적인 수렴을 달성했으며, 10개의 시간 포인트와 10개의 리간드 농도를 가진 GFP 발현 모델에서도 노이즈에 강건함을 입증했다.
• 국소 탐색 가속화가 낮은 오차 해에 도달하기 위해 필요한 반복 횟수를 크게 줄였으며, 표준 진화적 또는 순수 몬테카를로 방법보다 수렴 속도에서 뛰어난 성능을 보였다.
• 알고리즘은 모델-데이터 불일치를 최소화하는 매개변수 집합을 신뢰성 있게 식별하여 체계생물학에서의 교차검증 및 예측 모델링을 가능하게 했다.
• 이력 사전분포 메커니즘은 진짜 매개변수 범위를 사전에 알지 못하더라도 복잡하고 다모달적인 오차 표면을 효과적으로 탐색할 수 있도록 했다.
• GFP 모델에서 여러 반복 실험(예: t=360에서의 형광 측정)에서 일관된 매개변수 추정치(예: 평균 ~7910.6, 표준편차 ~387.8)를 확보하여 안정성과 재현 가능성을 입증했다.