[논문 리뷰] Automated adaptive inference of coarse-grained dynamical models in systems biology

Bryan C. Daniels, Ilya Nemenman|arXiv (Cornell University)|2014. 04. 24.

Gene Regulatory Network Analysis참고 문헌 39인용 수 6

한 줄 요약

이 논문은 데이터 가용성에 맞게 모델 복잡도를 자동으로 조정함으로써 체계 생물학에서 거시적 동역학 모델을 유추하기 위한 적응형이며 계산적으로 효율적인 방법을 제안한다. 계층적이고 중첩된 모델 공간과 마르코프 체인 몬테카를로를 통한 베이지안 모델 선택을 사용하여 과적합을 방지하고, 관측되지 않은 변수가 있는 경우조차도 제한된 데이터로 정확한 예측을 달성한다. 이는 행성 운동, 신호 전달 경로, 효모 당해성 분해 모델에서 입증되었다.

ABSTRACT

Cellular regulatory dynamics is driven by large and intricate networks of interactions at the molecular scale, whose sheer size obfuscates understanding. In light of limited experimental data, many parameters of such dynamics are unknown, and thus models built on the detailed, mechanistic viewpoint overfit and are not predictive. At the other extreme, simple ad hoc models of complex processes often miss defining features of the underlying systems. Here we propose an approach that instead constructs phenomenological, coarse-grained models of network dynamics that automatically adapt their complexity to the amount of available data. Such adaptive models lead to accurate predictions even when microscopic details of the studied systems are unknown due to insufficient data. The approach is computationally tractable, even for a relatively large number of dynamical variables, allowing its software realization, named Sir Isaac, to make successful predictions even when important dynamic variables are unobserved. For example, it matches the known phase space structure for simulated planetary motion data, avoids overfitting in a complex biological signaling system, and produces accurate predictions for a yeast glycolysis model with only tens of data points and over half of the interacting species unobserved.

연구 동기 및 목표

• 체계 생물학에서 실험 데이터가 부족할 경우 상세한 기계적 모델의 과적합 문제를 해결하기 위해.
• 데이터 가용성에 따라 자동으로 모델 복잡도를 선택하는 방법을 개발하여 미시적 세부 정보에 의존하지 않도록 하기 위해.
• 핵심 변수가 관측되지 않은 경우조차도 시간 시리즈 데이터로부터 동역학 시스템을 추론하기 위한 계산적으로 실현 가능한 접근법을 마련하기 위해.
• 현상적 모델의 중첩된 완전한 계층적 구조를 사용하여 통계적 일관성을 확보하고 과적합을 방지하기 위해.
• 데이터에 의해 요구되는 정도 이상으로 단순하지 않은, 해석 가능하고 예측 가능한 모델을 확보하기 위해.

제안 방법

• 이 방법은 각 모델이 다음 모델의 단순화된 형태인 중첩된 완전한 거시적 동역학 모델의 계층적 구조를 사용하며, 통계적 일관성을 보장한다.
• 모델 선택은 베이지안 모델 증거를 통해 수행되며, 각 모델의 로그우도는 마진형 우도에 대한 라플라스 근사로 계산된다.
• 하이브리드 몬테카를로 방법(메트로폴리스-해스팅스)을 사용하여 모델 파라미터의 사후분포에서 샘플링을 수행하며, 카이제곱 함수의 헤시안에 기반한 적응형 제안 분포를 사용한다.
• 지역적 파라미터 최적화는 정규화된 카이제곱을 최소화하기 위해 레벤버그-마르카르트 알고리즘을 사용하며, 기울기 임계값을 통한 수렴 여부를 점검한다.
• MCMC 샘플링에서 탐색과 수용률을 균형 잡기 위해 온도 조정된 우도를 사용하며, 파라미터 사전확률은 시작점에서의 헤시안에 기반한다.
• 모델 평가는 각 모델 크기별 누적 통합 수로 이루어지며, 모델 복잡도가 포화에 도달한 이후에는 계산 비용이 선형적으로 증가한다.

실험 결과

연구 질문

• RQ1 가용 데이터의 양에 따라 자동으로 복잡도를 조정할 수 있는 모델 유추 방법은 관측 수가 적은 시스템에서 과적합을 방지할 수 있는가?
• RQ2 핵심 변수가 관측되지 않더라도 복잡한 동역학을 정확히 포괄하면서도 해석 가능한 현상적 모델은 어떻게 구성할 수 있는가?
• RQ3 베이지안 모델 선택을 통한 계층적이고 중첩된 모델 공간은 비선형 동역학 시스템에서 일관되고 예측 가능한 추론을 이끌 수 있는가?
• RQ4 데이터가 희소하거나 노이즈가 많을 경우, 이러한 방법은 전통적인 기계적 모델링보다 얼마나 더 우수한 성능을 보일 수 있는가?
• RQ5 기본 메커니즘이 알려지지 않은 상태에서 시간 시리즈 데이터로부터 알려진 동역학적 구조(예: 위상공간)를 신뢰성 있게 회복할 수 있는가?

주요 결과

• 모델링된 행성 운동의 알려진 위상공간 구조를 시간 시리즈 데이터만으로 성공적으로 복원하여 정성적 예측의 정확성을 입증하였다.
• 복잡한 생물학적 신호 전달 시스템에서, 적응형 모델은 과적합을 피하고 고차원적이고 노이즈가 많은 데이터에서도 신뢰할 수 있는 예측을 도출하였다.
• 30~50개의 데이터 포인트만 있고 50퍼센트 이상의 종이 관측되지 않은 효모 당해성 분해 모델에서, 약 65개의 파라미터를 가진 모델을 선택함으로써 정확한 예측을 달성하였다.
• 모델 복잡도가 데이터 크기에 따라 증가함에 따라 모델 평가 수가 초선형적으로 증가했지만, 모델 크기가 포화에 도달한 이후에는 선형적으로 증가하여 계산 효율성을 보였다.
• 헤시안 고유값이 1을 초과하는 효과적 파라미터 수는 데이터 포인트 수 이하로 유지되어 모델의 일관성과 과적합 방지를 확인하였다.
• 소프트웨어 이름인 Sir Isaac에 구현된 이 방법은 관측되지 않은 변수와 비선형 동역학을 포함한 다양한 시스템에서 뛰어난 성능을 보였다.