[論文レビュー] Neural Pharmacodynamic State Space Modeling

Zeshan Hussain, Rahul G. Krishnan+1 more|arXiv (Cornell University)|Feb 22, 2021

Machine Learning in Healthcare参考文献 56被引用数 4

ひとこと要約

本稿では、高次元の縦断的臨床データに対する深層生成モデリングに薬理動態のインダクティブバイアスを統合した、新規のニューラル状態空間モデル、$\mathbf{SSM}\mathit{PK-PD}$ を提案する。患者のバイオマーカーに対する治療効果の複数のメカニズム的仮説に注目することで、実世界の多発性髄腫データにおいて一般化性能と予測精度が向上し、ベースラインを上回る予測性能を発揮するとともに、疾患進行に関する解釈可能な知見を提供する。

ABSTRACT

Modeling the time-series of high-dimensional, longitudinal data is important for predicting patient disease progression. However, existing neural network based approaches that learn representations of patient state, while very flexible, are susceptible to overfitting. We propose a deep generative model that makes use of a novel attention-based neural architecture inspired by the physics of how treatments affect disease state. The result is a scalable and accurate model of high-dimensional patient biomarkers as they vary over time. Our proposed model yields significant improvements in generalization and, on real-world clinical data, provides interpretable insights into the dynamics of cancer progression.

研究の動機と目的

• 高次元で縦断的な臨床時系列データのニューラルモデルにおける過学習を是正するため、生物学的に根拠のあるインダクティブバイアスを統合すること。
• 特に小規模な臨床データセットにおいて、時間変動する治療下での患者バイオマーカーの複雑で非線形的なダイナミクスをモデル化すること。
• 治療反応メカニズムを反映する表現を学習することで、疾患進行における解釈可能で反事実的（counterfactual）な推論を可能にすること。
• 薬剤の組み合わせが時間経過とともに患者の状態に与える影響を捉える、スケーラブルで高精度な深層生成モデルの開発。
• 再現可能な疾患進行モデリング研究を支援するため、新しいベンチマークデータセット ML-MMRF とコードの公開。

提案手法

• 治療効果の複数の競合するメカニズム的モデルに注目する、新規のアテンションベースのニューラルアーキテクチャ、$\\mathbb{PK\mathchar 45\relax PD}_{\\text{Neural}}$ を提案。このモデルは、潜在表現に対する複数のメカニズム的仮説に注目して学習する。
• 治療が病態負荷に与える影響に関する臨床的仮説から導出されたインダクティブバイアスを統合し、治療を静的入力として扱うのではなく、動的要因として扱う。
• 学習されたメカニズム関数を介して治療入力を用いて潜在表現を進化させる状態空間モデル（$\\mathbf{SSM}_{\\text{PK-PD}}$）としてモデルを形式化。
• 欠損ありの縦断的データに対する学習のため、負の対数尤度（NELBO）のバインドを用いた変分推論フレームワークを採用。
• ニューラル・ロジスティックキルやニューラル・トゥアメント・エクスポネンシャルといった、治療がバイオマーカーに与える異なる生物学的効果をモデル化する複数のメカニズム関数を採用。
• モデル評価および一般化性能の評価のため、負の対数尤度（NLL）の推定に重要度サンプリングを適用。

実験結果

リサーチクエスチョン

• RQ1 薬理動態のインダクティブバイアスを有する深層生成モデルは、小規模で高次元の臨床時系列データにおいて一般化性能を向上させることができるか？
• RQ2 治療効果の複数のメカニズム的仮説に注目することで、標準的なRNNやアテンションベースのベースラインと比較して、予測性能がどのように向上するか？
• RQ3 このモデルは、多発性髄腫におけるがん進行のダイナミクスについて、どの程度解釈可能な知見を提供できるか？
• RQ4 治療シグナルとベースライン特徴量の統合は、IgG、IgA、およびラムダといった主要バイオマーカーの予測精度にどのように影響を与えるか？
• RQ5 このモデルは、異なる時間スパンや条件付け長さ（特に初期データが限られた状況）に対しても一般化可能であり、長期予測にも対応できるか？

主な発見

• $\\mathbf{SSM}_{\\text{PK-PD}}$ モデルは、ベースラインモデルに比べて顕著な一般化性能の向上を達成し、ML-MMRFデータセットにおいて全特徴量を用いた場合のホールドアウト NELBO スコアが 58.12 にまで低下した。これは線形ベースラインの 71.11 よりも顕著な改善を示している。
• ニューラル・トゥアメント・エクスポネンシャルのメカニズム関数の追加により、最も大きな性能向上が得られ、NELBO が 65.06 から 58.12 に低下した。これは治療効果の強力なモデリングを示している。
• 6か月先予測において、血清IgAおよびカルシウムについて、線形ベースラインよりL1誤差が低く抑えられ、特にIgAでは顕著な改善が見られた。
• 6か月分のデータを条件付けた場合、2年先の予測においても誤差の低下が著しく、わずかな劣化にとどまり、長期予測における強固な一般化性能を示した。
• 6か月ではなく2年分のデータを条件付けた場合でも、モデルの性能は安定しており、疾患の各段階において一貫したダイナミクスを捉えていることが示唆された。
• 特徴量のアブレーション分析から、治療シグナルはIgAおよびラムダのMSEを顕著に低減させる一方、遺伝子情報などのベースライン特徴量もIgG予測に有意義に寄与していることがわかった。