[論文レビュー] Learning Optimal Dynamic Treatment Regimes Using Causal Tree Methods in Medicine

Theresa Blümlein, Joel Persson+1 more|arXiv (Cornell University)|Apr 14, 2022

Advanced Causal Inference Techniques被引用数 5

ひとこと要約

本稿では、医療分野における最適な動的治療規則（DTR）を学習するための新しい因果木および因果フォレスト手法、DTR-CT および DTR-CF を提案する。非線形かつ時変的で、かつ患者ごとの治療効果の異質性を捉える能力に加え、二重ロバスト性と解釈可能性を兼ね備えた本手法は、合成データおよび実際の MIMIC-III ICU データにおいて、最先端のベースラインと比較して累積的後悔を著しく低減し、意思決定の正確性を向上させた。

ABSTRACT

Dynamic treatment regimes (DTRs) are used in medicine to tailor sequential treatment decisions to patients by considering patient heterogeneity. Common methods for learning optimal DTRs, however, have shortcomings: they are typically based on outcome prediction and not treatment effect estimation, or they use linear models that are restrictive for patient data from modern electronic health records. To address these shortcomings, we develop two novel methods for learning optimal DTRs that effectively handle complex patient data. We call our methods DTR-CT and DTR-CF. Our methods are based on a data-driven estimation of heterogeneous treatment effects using causal tree methods, specifically causal trees and causal forests, that learn non-linear relationships, control for time-varying confounding, are doubly robust, and explainable. To the best of our knowledge, our paper is the first that adapts causal tree methods for learning optimal DTRs. We evaluate our proposed methods using synthetic data and then apply them to real-world data from intensive care units. Our methods outperform state-of-the-art baselines in terms of cumulative regret and percentage of optimal decisions by a considerable margin. Our work improves treatment recommendations from electronic health record and is thus of direct relevance for personalized medicine.

研究の動機と目的

• 従来の DTR 法が線形モデルやブラックボックス機械学習に依存するため、電子カルテに内在する複雑な非線形関係を捉えられていないという限界を是正すること。
• 時間変動する交絡要因を制御しながら、異質な治療効果を推定する、解釈可能なデータ駆動型手法を用いて最適な DTR を学習すること。
• 因果木および因果フォレスト手法を静的状態から動的かつ逐次的意思決定設定に適応させることで、逐次的ケアにおけるパーソナライズド治療の推奨を改善すること。
• 柔軟で因果推定に基づく DTR が、従来の線形モデルおよびブラックボックスモデルよりも累積的後悔と意思決定の正確性の観点で優れていることを実証すること。
• MIMIC-III データベースの実世界 ICU データを用いて、提案手法の臨床的妥当性および解釈可能性を検証すること。

提案手法

• 提案された DTR-CT 法は、患者サブグループごとに非線形的かつ区分定数の治療効果推定値を学習する因果木を用い、各時刻における解釈可能なルールベースの治療意思決定を可能にする。
• DTR-CF 法は、複数の因果木にわたるアンサンブル学習を活用することで、より高いロバスト性と分散低減を実現し、異質な治療効果を推定する因果フォレストを採用する。
• 両手法とも、静的な異質的治療効果推定から、逐次的 DTR の文脈に適応させ、時間変動する交絡要因と動的意思決定を扱えるようにしている。
• 二重ロバスト性を備えており、結果の回帰モデルと感受性スコアのモデルを組み合わせることで、推定の安定性を高め、バイアスを低減する。
• 可視化可能な意思決定木（DTR-CT）と変数の重要度スコア（DTR-CF）により、解釈可能性を実現し、臨床医が治療ルールを解釈および検証できるようにしている。
• 最適な治療ポリシーを推定するため、逆確率重み付けと結果の回帰を用いて訓練を行い、期待される結果を最大化する。

実験結果

リサーチクエスチョン

• RQ1 因果木および因果フォレスト手法を、逐次的医療意思決定における最適な動的治療規則の学習に効果的に適応できるか？
• RQ2 合成データおよび実世界データにおいて、DTR-CT および DTR-CF は、最先端の線形モデルおよびブラックボックスモデルよりも累積的後悔と意思決定の正確性において優れているか？
• RQ3 提案手法は、複雑な電子カルテデータにおける時間変動する交絡要因をどれほど効果的に制御でき、異質な治療効果をどれほど正確に推定できるか？
• RQ4 DTR-CT および DTR-CF の解釈可能な出力は、臨床的知識とどの程度整合しており、臨床意思決定をどの程度支援できるか？
• RQ5 提案手法は、観察された治療規則と比較して、実世界の ICU 環境における患者の予後を改善できるか？

主な発見

• 合成データでは、DTR-CT および DTR-CF は、最も優れたベースラインと比較して累積的後悔を 20% 以上低減し、最適な治療ポリシーを学習する能力に優れていることが示された。
• 合成実験において、提案手法はすべてのベースラインと比較して、最適な治療意思決定の割合が高かったことから、意思決定の正確性が向上していることが確認された。
• 実際の MIMIC-III ICU データでは、DTR-CT および DTR-CF ともに累積報酬が非負であったため、観察された治療規則よりも期待される結果が良好であることが示された。
• DTR-CF における変数の重要度分析から、酸素飽和度が呼吸器支持決定において、血圧が血管収縮薬投与決定において、それぞれ最も影響力のある共変量であることが判明した—これは臨床的知識と整合的であった。
• DTR-CT で推定された因果木は、明確に異なる最適な治療反応を示す患者サブグループを同定しており、透明性と解釈可能性に優れた意思決定ルールを提供した。
• 異なるハイパーパramータ設定においても、本手法は安定した性能を示し、チューニングに対する感受性が低く、実用的かつ高い使いやすさを示した。