[論文レビュー] Deep Reinforcement Learning for Dynamic Treatment Regimes on Medical Registry Data

Ning Liu, Ying Liu+4 more|arXiv (Cornell University)|Jan 28, 2018

Advanced Causal Inference Techniques参考文献 23被引用数 9

ひとこと要約

本論文は、高次元の観察的医療レジストリデータから最適な動的治療規則（DTRs）を学習するための新規な深層強化学習（DRL）フレームワークを提案する。2段階のアプローチを採用：まず教師あり深層学習で専門家の行動を予測し、次にDRLで長期的価値関数を推定する。グレフト対宿主病（GVHD）管理のCIBMTRデータを用いた評価では、専門家の意思決定を高精度に予測し、優れた期待報酬を達成する個別化された治療戦略を同定した。

ABSTRACT

This paper presents the first deep reinforcement learning (DRL) framework to estimate the optimal Dynamic Treatment Regimes from observational medical data. This framework is more flexible and adaptive for high dimensional action and state spaces than existing reinforcement learning methods to model real-life complexity in heterogeneous disease progression and treatment choices, with the goal of providing doctor and patients the data-driven personalized decision recommendations. The proposed DRL framework comprises (i) a supervised learning step to predict the most possible expert actions, and (ii) a deep reinforcement learning step to estimate the long-term value function of Dynamic Treatment Regimes. Both steps depend on deep neural networks. As a key motivational example, we have implemented the proposed framework on a data set from the Center for International Bone Marrow Transplant Research (CIBMTR) registry database, focusing on the sequence of prevention and treatments for acute and chronic graft versus host disease after transplantation. In the experimental results, we have demonstrated promising accuracy in predicting human experts' decisions, as well as the high expected reward function in the DRL-based dynamic treatment regimes.

研究の動機と目的

• 複雑で高次元の臨床意思決定状況における動的治療規則（DTRs）の最適化のため、スケーラブルでデータ駆動のフレームワークを開発すること。
• ランダム化試験（SMARTs）から得られる単純化された低次元の状態空間と行動空間に依存する従来のDTR手法の限界を克服し、現実世界の観察的データに一般化可能な手法を提供すること。
• 深層ニューラルネットワークを活用して自動表現学習を実現し、人的に手間のかかる特徴工学やドメイン特化の簡素化に依存するのを減らすこと。
• CIBMTRのような現実世界の医療レジストリデータを用いて、多様な患者集団における個別化された長期的アウトカム最適化を可能にすること。
• グレフト対宿主病（GVHD）のような移植後複雑な合併症の臨床意思決定支援におけるDRLの実現可能性と有効性を示すこと。

提案手法

• フレームワークは2段階パイプラインを採用：まず、患者の状態特徴に基づいて最も可能性の高い専門家の行動を予測する教師あり深層ニューラルネットワークを適用する。
• 次に、再帰的バッファを用いて訓練を安定化させ、収束性を向上させるためのターゲットネットワークを用いた深層Qネットワーク（DQN）を訓練してDTRの長期的価値関数を推定する。
• 状態表現は、次元削減を図りながらも臨床的判別能を保持する効果的な入力符号化方式で符号化される。
• DRL部は、8個の入力ニューロン、2つの隠れ層（32および64ニューロン）および急性GVHDと慢性GVHD治療のそれぞれに対応する283および271ニューロンの出力層を有する、多層全結合ニューラルネットワークを用いる。
• 遅延処理・離散化された報酬関数は5つの結果カテゴリーで定義され、それぞれ報酬値は以下の通り：再発防止生存（報酬1.0）、GVHDを伴う生存（0.8）、再発（0.2）、死亡（0.0）、データ欠損（将来の価値推定により補完）。
• アルゴリズムは経験再生と、ゆっくり追従するパラメータ（τ = 0.01）を用いたターゲットネットワーク更新を採用し、訓練の安定化と方策の乖離の低減を図る。

実験結果

リサーチクエスチョン

• RQ1 高次元の現実世界の観察的医療データ（例：レジストリデータベース）から、深層強化学習が最適な動的治療規則を効果的に学習できるか。
• RQ2 深層ニューラルネットワークは、複雑で時間的に変化する治療シーケンスにおいて、専門家の臨床的意思決定をどれほど正確に予測できるか。
• RQ3 DRLフレームワークは、4年間の再発防止生存が高く、GVHDが最小限の長期的臨床アウトカムを最大化する個別化された治療戦略を同定できるか。
• RQ4 本手法は、多様な意思決定段階と高次元の治療選択肢を扱う際、従来のDTR手法をどの程度上回るか。
• RQ5 縦断的医療記録における打ち切りおよび欠損データに対して、DRLフレームワークはどの程度頑健か。

主な発見

• 教師あり深層学習モデルは、人間の専門家の治療意思決定を高精度に予測し、実世界のデータから臨床的意思決定パターンを捉える能力を示した。
• DRLフレームワークは、ベースライン戦略と比較して顕著に高い期待長期報酬を達成する最適な治療方針を効果的に学習した。これは、臨床的アウトカム予測の向上を示している。
• 生存、GVHD状態、再発、死亡の結果を統合した離散化報酬関数の使用により、複雑で多面的な臨床的アウトカムの効果的なモデリングが可能になった。
• 経験再生とターゲットネットワークの統合により、訓練の安定化と収束性の向上が達成され、高次元の状態空間と行動空間からの信頼性のある学習が可能になった。
• CIBMTRレジストリのような多様な患者の経路と治療シーケンスを含む、複雑な現実世界の臨床データに対しても、本フレームワークはスケーラビリティと適応性を示した。
• 将来の価値推定を用いた補完により、欠損データや打ち切りデータを効果的に処理し、不完全な記録を捨てる必要なく性能を維持した。