[論文レビュー] Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations

Nabeel Seedat, Fergus Imrie+3 more|arXiv (Cornell University)|Jun 16, 2022

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、不規則にサンプリングされた臨床データと時間に依存する交絡要因を扱うために、神経制御確率微分方程式を用いて反事後的結果をモデル化する連続時刻フレームワーク、Treatment Effect Neural Controlled Differential Equation (TE-CDE) を提案する。TE-CDE は、特に高い交絡要因と疎なサンプリング条件下で、患者状態の連続的埋め込み軌道を学習し、時間変動する交絡要因を補正するための敵対的訓練を用いることで、既存手法を上回る性能を発揮する。

ABSTRACT

Estimating counterfactual outcomes over time has the potential to unlock personalized healthcare by assisting decision-makers to answer ''what-iF'' questions. Existing causal inference approaches typically consider regular, discrete-time intervals between observations and treatment decisions and hence are unable to naturally model irregularly sampled data, which is the common setting in practice. To handle arbitrary observation patterns, we interpret the data as samples from an underlying continuous-time process and propose to model its latent trajectory explicitly using the mathematics of controlled differential equations. This leads to a new approach, the Treatment Effect Neural Controlled Differential Equation (TE-CDE), that allows the potential outcomes to be evaluated at any time point. In addition, adversarial training is used to adjust for time-dependent confounding which is critical in longitudinal settings and is an added challenge not encountered in conventional time-series. To assess solutions to this problem, we propose a controllable simulation environment based on a model of tumor growth for a range of scenarios with irregular sampling reflective of a variety of clinical scenarios. TE-CDE consistently outperforms existing approaches in all simulated scenarios with irregular sampling.

研究の動機と目的

• 定期的で離散的時刻のサンプリングを仮定する既存の因果推論手法の限界を是正すること。特に、臨床現場で一般的な不規則な観察データを正しくモデル化できない点に起因する。
• 任意の時刻に評価可能な反事後的結果を連続時刻でモデル化することにより、観察時刻に限定されない評価を可能にすること。
• 縦断的医療データにおいて極めて重要な時間に依存する交絡要因を、連続時刻フレームワーク内での敵対的訓練により補正すること。
• 多様な臨床的サンプリングパターンと治療方針を反映する、現実的で制御可能な腫瘍成長のシミュレーション環境を開発すること。
• 現実的で不規則なデータ条件下における反事後的推定において、最先端のベースラインを上回る性能を示す、提案された TE-CDE モデルの優位性を実証すること。

提案手法

• 潜在的患者状態は、観察履歴が制御信号として機能する神経制御確率微分方程式（CDE）の解としてモデル化される。
• CDEフレームワークにより、患者状態の進化を連続的にモデル化でき、観察時刻に限定されない任意の時刻での反事後的結果の評価が可能となる。
• 時間に依存する交絡要因を補正するために、過去の共変量が与えられたもとで治療割り当てに対して不変な表現を学習する敵対的訓練が採用される。
• 腫瘍成長モデルに基づく制御可能なシミュレーション環境により、不規則なサンプリングと変動する治療強度を有する合成データが生成され、現実の臨床状況を反映する。
• モデルは、CDEのドリフト関数と拡散関数をニューラルネットワークでパrameter化することで、複雑な患者軌道の柔軟かつ表現力豊かなモデル化を可能にする。
• 性能評価は、時間に依存する交絡要因とサンプリング強度の異なる水準における反事後的予測の正規化済みRMSEを用いて行われる。

実験結果

リサーチクエスチョン

• RQ1 神経制御確率微分方程式に基づく連続時刻モデルは、不規則なサンプリング下で、離散的時刻のRNNベースのモデルを上回る反事後的推定性能を発揮するか？
• RQ2 既存手法と比較して、TE-CDE モデルは縦断的観察データにおける時間に依存する交絡要因をどの程度効果的に処理できるか？
• RQ3 観察時刻と一致しない評価時刻においても、患者軌道の連続的モデリングが反事後的予測精度を向上させるか？
• RQ4 合成臨床データにおける変動するサンプリング強度と治療に依存する観察パターンに対して、TE-CDE はどの程度頑健か？
• RQ5 縦断的因果推論において、時間変動する交絡要因によるバイアスを低減するために、敵対的訓練がどの程度性能向上に寄与するか？

主な発見

• TE-CDE は、すべてのシミュレーションシナリオで最小の正規化済みRMSEを達成し、κ=10 および γ=2 の条件下で平均RMSE 0.78 ± 0.01 を記録。これは CRN (1.31 ± 0.02) や RMSN (1.60 ± 0.11) を顕著に上回る性能である。
• 高い時間に依存する交絡要因（γ=10）下でも、TE-CDE は κ=10 の条件下で RMSE = 3.03 ± 0.35 を維持するが、CRN と RMSN はそれぞれ RMSE > 4.8 および 5.4 を示す。
• 治療に依存するサンプリング（κ_treated=10, κ_untreated=1）下では、TE-CDE は全体で RMSE 1.18 ± 0.05 を達成し、CRN (1.57 ± 0.06) や RMSN (3.06 ± 0.09) より顕著に低い。
• アブレーションスタディの結果、線形関数 f および g を用いても、モデルは妥当な性能（RMSE の低下 0.093 ± 0.056）を維持しており、CDE部が主な性能向上要因であることが示唆される。
• GPベースラインはすべての条件下で性能が著しく低く、κ=10 および γ=10 の条件下で RMSE > 9.0 を示しており、この文脈においてガウス過程の限界が浮き彫りになる。
• 予測期間を延長した場合（t_k+3 から t_k+5）の結果も、TE-CDE がベースラインを一貫して上回ることを確認し、全予測期間にわたり安定的かつ低いRMSEを維持している。