[論文レビュー] Integrating Expert ODEs into Neural ODEs: Pharmacology and Disease Progression

Zhaozhi Qian, William R. Zame+3 more|arXiv (Cornell University)|Jun 5, 2021

Model Reduction and Neural Networks参考文献 84被引用数 18

ひとこと要約

本稿では、ドクターが設計した薬理学的ODEとニューラルODEを統合する新しいフレームワーク、潜在的ハイブリダイゼーションモデル（LHM）を提案する。ドメイン固有のODEと学習可能な潜在変数を組み合わせることで、特にデータが少ない状況下でもサンプル効率性と予測精度が向上し、COVID-19患者の実臨床データおよび合成データの両方で、先行手法を上回る性能を発揮する。

ABSTRACT

Modeling a system's temporal behaviour in reaction to external stimuli is a fundamental problem in many areas. Pure Machine Learning (ML) approaches often fail in the small sample regime and cannot provide actionable insights beyond predictions. A promising modification has been to incorporate expert domain knowledge into ML models. The application we consider is predicting the progression of disease under medications, where a plethora of domain knowledge is available from pharmacology. Pharmacological models describe the dynamics of carefully-chosen medically meaningful variables in terms of systems of Ordinary Differential Equations (ODEs). However, these models only describe a limited collection of variables, and these variables are often not observable in clinical environments. To close this gap, we propose the latent hybridisation model (LHM) that integrates a system of expert-designed ODEs with machine-learned Neural ODEs to fully describe the dynamics of the system and to link the expert and latent variables to observable quantities. We evaluated LHM on synthetic data as well as real-world intensive care data of COVID-19 patients. LHM consistently outperforms previous works, especially when few training samples are available such as at the beginning of the pandemic.

研究の動機と目的

• 純粋な機械学習モデルが小規模データ環境で示す限界と、臨床時系列モデリングにおける解釈不能性を是正すること。
• 薬理学的ODEモデルに内在する観察不能で生物学的に意味のある変数と、現実世界のノイズが多く、不規則にサンプリングされた患者測定値との間のギャップを埋めること。
• ドメイン固有のODEをニューラルODEフレームワークに組み込むことで、疾患進行モデリングにおけるサンプル効率性と予測精度を向上させること。
• 臨床医が理解可能な潜在変数（既知の薬理学的メカニズムに関連）を提供しつつ、高い予測性能を維持すること。

提案手法

• LHMは、生物学的に意味のある変数を表す専門家が設計したODEのシステムと、潜在的ダイナミクスをモデル化するニューラルODEを統合する。
• 時間に依存するエンコーダーを用いて、観察不能な潜在変数（専門家ODEの状態を含む）と観察可能な臨床測定値との間のマッピングを学習する。
• 変分推論フレームワークを用いて初期潜在状態の事後分布を推定し、不規則にサンプリングされたデータ上でエンドツーエンドの学習を可能にする。
• 専門家ODEがダイナミクスの一部を支配するのに対し、ニューラルODEが残りのダイナミクスおよび測定マッピングを学習するハイブリッドアーキテクチャを採用する。
• 静的共変量の組み込み、情報的なサンプリング、ベイジアンフィルタリングによるオンライン推論といった拡張も可能である。
• 専門家ODEに誤りがある可能性を補正するため、誤った方程式を学習可能なニューラルネットワークに置き換える「方程式置換」を適用する。

実験結果

リサーチクエスチョン

• RQ1 専門家が設計した薬理学的ODEをニューラルODEに統合することで、疾患進行モデリングにおける小規模データ環境下での予測性能が向上するか？
• RQ2 専門家モデルから得られる観察不能で生物学的に意味のある変数を、微分可能でエンドツーエンドのフレームワーク内で、臨床的に観察可能な測定値と効果的に結びつける方法は何か？
• RQ3 ドメイン固有のODEを組み込むことで、純粋なニューラルODEと比較して、どの程度サンプル効率性が向上するか？
• RQ4 ハイブリッドモデルは、高い予測精度と臨床的に解釈可能な潜在変数を両立できるか？

主な発見

• COVID-19患者の実臨床データにおいて、LHMは全予測時間軸で最小のRMSEを達成した。6時間予測ではRMSEが0.517（0.72）を記録し、NODE（0.661）やGRU-ODE（0.549）を上回った。
• 72時間予測時間軸では、LHMがRMSE 0.691を達成し、専門家モデル（0.993）およびNODE（0.996）を著しく下回り、長期予測における一般化性能の優位性を示した。
• 合成データでは、特に訓練データが限られる状況下で、LHMが一貫したサンプル効率性の向上を示した。これは、専門家ODEがデータが少ない環境で有効であることを裏付けた。
• LHMは6、12、24、72時間の全テスト時間軸で優れた性能を維持し、予測の分散が最小限に抑えられており、堅牢性が確認された。
• 専門家モデルが誤りを含む可能性がある状況でも、LHMは性能が安定しており、特に方程式置換を組み合わせた場合に顕著に優れた性能を示した。