[논문 리뷰] Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression

Zhaozhi Qian, William R. Zame외 3명|arXiv (Cornell University)|2021. 06. 05.

Model Reduction and Neural Networks참고 문헌 84인용 수 18

한 줄 요약

이 논문은 전문가가 설계한 약리학적 ODE와 신경 ODE를 통합하여 치료 중 질병 진행을 모델링하는 새로운 프레임워크인 잠재 하이브리드화 모델(Latent Hybridisation Model, LHM)을 제안한다. 영역 특화 ODE와 학습 가능한 잠재 변수를 결합함으로써 LHM은 샘플 효율성과 예측 정확도를 향상시키며, 특히 데이터가 적은 상황에서 이전 방법들을 능가한다. 이는 코로나19 환자에서의 실제 ICU 데이터와 합성 데이터 모두에서 성능을 뛰어나게 한다.

ABSTRACT

Modeling a system's temporal behaviour in reaction to external stimuli is a fundamental problem in many areas. Pure Machine Learning (ML) approaches often fail in the small sample regime and cannot provide actionable insights beyond predictions. A promising modification has been to incorporate expert domain knowledge into ML models. The application we consider is predicting the progression of disease under medications, where a plethora of domain knowledge is available from pharmacology. Pharmacological models describe the dynamics of carefully-chosen medically meaningful variables in terms of systems of Ordinary Differential Equations (ODEs). However, these models only describe a limited collection of variables, and these variables are often not observable in clinical environments. To close this gap, we propose the latent hybridisation model (LHM) that integrates a system of expert-designed ODEs with machine-learned Neural ODEs to fully describe the dynamics of the system and to link the expert and latent variables to observable quantities. We evaluated LHM on synthetic data as well as real-world intensive care data of COVID-19 patients. LHM consistently outperforms previous works, especially when few training samples are available such as at the beginning of the pandemic.

연구 동기 및 목표

• 순수한 기계학습 모델이 소규모 데이터 환경에서 가지는 한계와 임상 시간열 모델링에서의 해석 불가능성 문제를 해결하기 위해.
• 약리학적 ODE 모델에서의 임상적으로 관측되지 않는 생물학적으로 의미 있는 변수들과 실제 세계의 노이즈가 많고 불규칙하게 샘플링된 환자 측정치 사이의 격차를 메우기 위해.
• 영역 특화 ODE를 신경 ODE 프레임워크에 통합함으로써 질병 진행 예측 모델링의 샘플 효율성과 예측 정확도를 향상시키기 위해.
• 높은 예측 성능를 유지하면서도 알려진 약리학적 메커니즘과 연결된 해석 가능한 잠재 변수를 임상의가 사용할 수 있도록 제공하기 위해.

제안 방법

• LHM은 생물학적으로 의미 있는 변수를 나타내는 전문가가 설계한 ODE 시스템과 잠재 동역학을 모델링하는 신경 ODE를 통합한다.
• 모델은 시간에 민감한 인코더를 통해 관측되지 않는 잠재 변수(전문가 ODE 상태 포함)와 관측 가능한 임상 측정치 사이의 매핑을 학습한다.
• 변분 추론 프레임워크를 사용하여 초기 잠재 상태의 사후 분포를 추론함으로써, 불규칙하게 샘플링된 데이터에 대해 엔드 투 엔드 학습이 가능해진다.
• 이 방법은 전문가 ODE가 일부 동역학을 지배하고, 나머지 동역학과 측정 매핑을 신경 ODE가 학습하는 하이브리드 아키텍처를 채택한다.
• 이 프레임워크는 정적 공변량, 정보가 풍부한 샘플링, 베이지안 필터링을 통한 온라인 추론과 같은 확장 기능을 지원한다.
• 전문가 ODE의 모델 잘못 설정 가능성을 수정하기 위해 방정정식 교체 기법을 적용하여 결함이 있는 방정식을 학습 가능한 신경망으로 대체한다.

실험 결과

연구 질문

• RQ1 전문가가 설계한 약리학적 ODE를 신경 ODE에 통합함으로써, 질병 진행 예측에서 데이터가 적은 환경에서 성능 향상을 이룰 수 있는가?
• RQ2 전문가 모델의 관측되지 않는 생물학적으로 의미 있는 변수들이 기울기 전파가 가능한 엔드 투 엔드 프레임워크 내에서 임상적으로 관측 가능한 측정치와 효과적으로 연결될 수 있는가?
• RQ3 영역 특화 ODE의 통합이 순수한 신경 ODE에 비해 샘플 효율성을 얼마나 향상시키는가?
• RQ4 이 하이브리드 모델은 높은 예측 정확도와 동시에 임상적으로 해석 가능한 잠재 변수를 제공할 수 있는가?

주요 결과

• 실제 코로나19 환자 ICU 데이터에서 LHM은 모든 예측 수평선에서 가장 낮은 RMSE를 기록했으며, 6시간 예측 시 RMSE가 0.517 (0.72)로 NODE(0.661)와 GRU-ODE(0.549)를 모두 앞섰다.
• 72시간 예측 수평선에서 LHM은 RMSE 0.691을 기록하여 전문가 모델(0.993)과 NODE(0.996)보다 유의미하게 낮게 나타내, 장기 예측에서 뛰어난 일반화 능력을 입증했다.
• 합성 데이터에서는 특히 학습 데이터가 부족한 경우 샘플 효율성 향상이 일관되게 관찰되어, 데이터가 적은 환경에서 전문가 ODE의 유용성이 확인되었다.
• 모델은 6, 12, 24, 72시간 등 모든 테스트 시간 수평선에서 뛰어난 성능 유지를 보였으며, 예측의 분산이 최소화되어 안정성을 입증했다.
• 전문가 모델에 잠재적인 잘못 설정이 존재하더라도 LHM은 방정정식 교체 기법과 함께 안정적이고 뛰어난 성능을 유지했으며, 특히 이로 인해 모델의 내성적 안정성이 향상되었다.