[論文レビュー] Optimizing Warfarin Dosing using Deep Reinforcement Learning

Sadjad Anzabi Zadeh, W. Nick Street+1 more|arXiv (Cornell University)|Feb 7, 2022

Statistical Methods in Clinical Trials被引用数 7

ひとこと要約

本論文は、薬物動態/薬物効果（PK/PD）モデルを用いて仮想患者をシミュレートすることで、個別化された投与量を最適化する深層強化学習（DRL）ベースのワルファリン投与量決定モデルを提案する。この手法は、特に感受性の高い患者において顕著に向上した治療範囲内時間（TTR）を達成し、複数のPK/PDモデルにおいて優れた性能と頑健性を示した。

ABSTRACT

Warfarin is a widely used anticoagulant, and has a narrow therapeutic range. Dosing of warfarin should be individualized, since slight overdosing or underdosing can have catastrophic or even fatal consequences. Despite much research on warfarin dosing, current dosing protocols do not live up to expectations, especially for patients sensitive to warfarin. We propose a deep reinforcement learning-based dosing model for warfarin. To overcome the issue of relatively small sample sizes in dosing trials, we use a Pharmacokinetic/ Pharmacodynamic (PK/PD) model of warfarin to simulate dose-responses of virtual patients. Applying the proposed algorithm on virtual test patients shows that this model outperforms a set of clinically accepted dosing protocols by a wide margin. We tested the robustness of our dosing protocol on a second PK/PD model and showed that its performance is comparable to the set of baseline protocols.

研究の動機と目的

• ワルファリン投与量の個別化に取り組むこと。これは、治療幅が狭く、出血または血栓塞塞症のリスクが高いため重要である。
• 小規模な臨床試験データセットの制限を克服するため、仮想患者の反応をシミュレートするPK/PDモデルを用い、大規模なトレーニングデータを生成すること。
• 患者固有のINR反応に基づいて動的に投与量を調整する順次意思決定フレームワークを構築し、長期的な治療成績を改善すること。
• 異なるPK/PDモデル構造において、DRLベースの投与量決定プロトコルの頑健性と一般化能力を評価すること。
• 解釈可能なAI駆動型投与システムを臨床意思決定支援に導入する可能性と限界を検討すること。

提案手法

• 投与量問題は、状態が患者の特徴とINR値を表し、行動が投与量の調整を表すマルコフ決定過程（MDP）としてモデル化される。
• 最適行動価値関数の近似にディープQネットワーク（DQN）が用いられ、エージェントがシミュレートされたPK/PD環境との試行錯誤的相互作用を通じて最適な投与量ポリシーを学習できるようにする。
• ハムバーグらのPK/PDモデルが、年齢、CYP2C9、VKORC1遺伝子型などの共変量を組み込んで、仮想患者における投与量-反応ダイナミクスをシミュレートするために用いられる。
• DRLエージェントは、PK/PDモデルからのシミュレートデータでトレーニングされ、経験再生とターゲットネットワークを用いてトレーニングの安定性と収束性を向上させる。
• 頑健性は、2番目の構造的に異なるPK/PDモデル（1コンpartと2コンpart）にトレーニング済みポリシーを適用することでテストされ、性能の一貫性が評価される。
• 代表されにくい患者タイプの学習を改善するため、感受性レベルごとのトレーニング分布のバランスを取るために、クラスのオーバーサンプリングなどの技術が適用される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、シミュレート環境において、既存の臨床プロトコルよりも優れたワルファリン投与量ポリシーを学習できるか？
• RQ2 DRLベースの投与量プロトコルの性能は、特に感受性の高い個々の患者の感受性プロファイルに応じてどのように変化するか？
• RQ3 異なるPK/PDモデル構造に移行した場合、DRLポリシーは同等の性能を維持するか。これは、頑健性と一般化能力を示すものか？
• RQ4 仮想患者データのシミュレーションを組み込むことで、個人化投与量モデルのトレーニングにおいて、小規模な臨床試験データセットの限界がどの程度軽減されるか？
• RQ5 このようなDRLベースのシステムを実臨床現場に導入するにあたり、主な課題は何か。特に解釈可能性と医師の信頼性に関する点で。

主な発見

• 提案されたDRLベースの投与量決定モデルは、特に感受性の高い患者において、既存の臨床プロトコルを顕著に上回る治療範囲内時間（TTR）を達成した。
• 通常の患者ではPTTRの収束が速くなったが、感受性の高い患者に対してはオーバーサンプリングなどのターゲット学習技術により、性能が向上した。
• 2番目の構造的に異なるPK/PDモデル（1コンパートメント対2コンパートメント）でテストしたところ、DRLポリシーはベースラインプロトコルと同等の性能を維持した。これは、頑健性を示している。
• PK/PDモデルをシミュレータとして用いることで、小規模な臨床試験サイズの制限を克服し、大規模かつ多様な仮想患者反応データセットの生成が可能になった。
• 強力な性能を発揮しているものの、ブラックボックス性のため、ルールベースや回帰ベースのプロトコルと比較して解釈性に欠けるため、臨床現場への導入に課題がある。
• 本研究は、AIが推奨を提示するが、医師が上書き可能である「医師がシステムに参加する」導入形態の可能性を強調しており、信頼性と安全性の向上に寄与する。