[논문 리뷰] Systems Biology: Identifiability analysis and parameter identification via systems-biology informed neural networks

Mitchell Daneker, Zhen Zhang외 2명|arXiv (Cornell University)|2022. 02. 03.

Gene Regulatory Network Analysis인용 수 4

한 줄 요약

이 논문은 일반 미분 방정식(OED) 기반 생물학적 모델에서의 매개변수 추정을 위한 시스템 생물학에 기반한 신경망(SBINN)을 소개한다. 이는 신뢰할 수 있는 추론을 보장하기 위해 구조적 및 실용적 식별성 분석을 통합한다. 이 프레임워크는 초당 포도당-insulin 모델에 적용되었으며, SBINN이 정확한 매개변수 복원을 가능하게 하고, FIM 기반 실용적 식별성 분석을 통해 매개변수 $ C_2 $ 가 피셔 정보 행렬에서 거의 영이 되는 민감도로 인해 실용적으로 식별 불가능하다는 것을 보여준다.

ABSTRACT

The dynamics of systems biological processes are usually modeled by a system of ordinary differential equations (ODEs) with many unknown parameters that need to be inferred from noisy and sparse measurements. Here, we introduce systems-biology informed neural networks for parameter estimation by incorporating the system of ODEs into the neural networks. To complete the workflow of system identification, we also describe structural and practical identifiability analysis to analyze the identifiability of parameters. We use the ultridian endocrine model for glucose-insulin interaction as the example to demonstrate all these methods and their implementation.

연구 동기 및 목표

• 구조적 및 실용적 식별성 분석을 매개변수 추정과 통합한 통합 워크플로우를 개발하여 시스템 생물학 모델 식별을 위한 통합적 접근을 제공한다.
• 시스템 생물학에서 노이즈가 많고 희박한 실험 데이터로부터 미지의 매개변수를 추정하는 데 도전하는 문제를 해결한다.
• 복잡한 생물학적 시스템에서 높은 정확도로 매개변수를 추정하는 데 있어 시스템 생물학에 기반한 신경망(SBINN)의 효과성을 입증한다.
• 피셔 정보 행렬(FIM) 기반 실용적 식별성 분석을 통해 비정상적인 매개변수를 식별하고 진단하며, 특히 실제 생물학적 데이터의 제약 조건 하에서의 적용을 목적으로 한다.
• 신경망 아키텍처 내에 학습 가능한 함수를 통합하여 시간에 따라 변하는 매개변수를 처리할 수 있도록 SBINN 프레임워크를 확장한다.

제안 방법

• 미지의 매개변수를 추정하기 위해 ODE 시스템을 물리학 기반 신경망(PINN) 프레임워크에 직접 통합하며, 훈련 중에 ODE 역학을 손실 항목으로 강제하여 모델 일致성을 확보한다.
• 매개변수 추정 이전에 구조적 식별성 분석을 적용하여 노이즈가 없는 조건에서 매개변수가 유일하게 식별 가능한지 확인한다.
• 신경망을 사용하여 상태 변수와 그 시간 도함수를 근사하고, ODE 잔차를 손실 함수를 통해 페널티 처리하여 모델 일치성을 강제한다.
• 실용적 식별성 분석을 후행적으로 수행하며, 매개변수에 대한 ODE 시스템의 민감도 분석을 통해 피셔 정보 행렬(FIM)을 계산한다.
• 역행렬 FIM에서의 매개변수 상관 행렬을 계산하여 높은 상관관계를 보이는 매개변수를 탐지하고, 비정상성의 징후로 간주하며, FIM의 영 특이벡터를 분석하여 관측 가능한 변수에 영향을 거의 주지 않는 매개변수를 식별한다.
• 추가적인 출력 뉴런을 도입하여 시간에 따라 변하는 매개변수 함수를 표현함으로써 SBINN을 시간에 따라 변화하는 매개변수를 다룰 수 있도록 확장한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 희박한 데이터로부터 ODE 기반 생물학적 모델의 미지 매개변수를 효과적으로 추정할 수 있는가?
• RQ2 초당 포도당-인슐린 모델에서 어떤 매개변수가 구조적으로 식별 가능하며, 해의 유일성을 보장하기 위해 어떤 제약 조건이 필요한가?
• RQ3 측정 노이즈가 존재하는 상황에서 실용적 식별성은 어떻게 평가할 수 있으며, 어떤 매개변수가 데이터 불확실성에 민감한가?
• RQ4 피셔 정보 행렬(FIM)은 매개변수 비식별성 진단에서 어떤 역할을 하는가? 그리고 영 특이벡터는 정보가 없는 매개변수를 어떻게 드러내는가?
• RQ5 신경망 아키텍처 내에 학습 가능한 함수로 매개변수를 모델링함으로써 SBINN을 시간에 따라 변하는 매개변수를 추론할 수 있도록 확장할 수 있는가?

주요 결과

• SBINN는 표 1에 제시된 명목값과의 비교를 통해 초당 포도당-인슐린 모델의 21개 매개변수를 모두 높은 정확도로 추정하였다.
• 구조적 식별성 분석을 통해 모든 매개변수가 구조적으로 식별 가능하다는 것이 확인되었으며, 이는 이상적인 조건 하에서 신뢰할 수 있는 매개변수 추정이 가능함을 의미한다.
• FIM 기반 실용적 식별성 분석을 통해 매개변수 $ C_2 $ 가 실용적으로 식별 불가능하다는 것이 드러났다. 이는 FIM에서 거의 영이 되는 고유값과 관련된 영 특이벡터의 주요 성분으로서 나타났다.
• 상관 행렬은 일부 매개변수 간에 높은 상관관계를 보였지만, 이는 비정상성의 징후로 간주되었으며, 영 특이벡터 분석만큼 확실한 결론은 아니었다.
• 영 특이벡터 분석을 통해 $ C_2 $ 가 관측 가능한 상태 변수 $ G $ 에 거의 영향을 주지 않음을 확인하였으며, 이는 데이터셋으로부터 실용적으로 식별 불가능하다는 것을 확인한다.
• FIM 기반 실용적 식별성 분석을 SBINN 파이프라인에 통합하는 데 성공하였으며, 이는 모델 배포 이전에 신뢰할 수 없는 매개변수 추정을 조기에 탐지할 수 있도록 한다.