[論文レビュー] Offline reinforcement learning with uncertainty for treatment strategies in sepsis

Ran Liu, Joseph L. Greenstein+4 more|arXiv (Cornell University)|Jul 9, 2021

Sepsis Diagnosis and Treatment参考文献 44被引用数 5

ひとこと要約

本論文は、後向きに得られた電子的健康記録（EHR）データから個別化された敗血症治療戦略を導出するため、不確実性推定を組み込んだオフライン強化学習フレームワークを提案する。死亡率と治療強度の間の交絡要因による治療の不十分さへのバイアスを軽減することで、高信頼性の治療オプションを複数生成し、重症医療分野における意思決定の正確性と個別化を向上させる。

ABSTRACT

Guideline-based treatment for sepsis and septic shock is difficult because sepsis is a disparate range of life-threatening organ dysfunctions whose pathophysiology is not fully understood. Early intervention in sepsis is crucial for patient outcome, yet those interventions have adverse effects and are frequently overadministered. Greater personalization is necessary, as no single action is suitable for all patients. We present a novel application of reinforcement learning in which we identify optimal recommendations for sepsis treatment from data, estimate their confidence level, and identify treatment options infrequently observed in training data. Rather than a single recommendation, our method can present several treatment options. We examine learned policies and discover that reinforcement learning is biased against aggressive intervention due to the confounding relationship between mortality and level of treatment received. We mitigate this bias using subspace learning, and develop methodology that can yield more accurate learning policies across healthcare applications.

研究の動機と目的

• 敗血症の病態生理の多様性と複雑さによる、個別化された敗血症治療の課題に対処すること。
• 個別化の欠如により過剰治療や不十分治療につながりがちな、ガイドラインに基づくプロトコルの限界を克服すること。
• オンライン相互作用を伴わずに、歴史的EHRデータから学習する強化学習フレームワークを構築し、安全性とスケーラビリティを確保すること。
• 希少または高リスクの状況を特定するために、治療提案における不確実性を推定すること。
• 観察データにおける治療強度と死亡率の交絡要因によって、より抑制的な治療にバイアスがかかる学習済みポリシーのバイアスを軽減すること。

提案手法

• 敗血症患者の後向きEHRデータから最適な治療ポリシーを学習するため、オフライン強化学習を適用する。
• Q値予測における不確実性推定を組み込み、低信頼性または希少な治療状況を特定する。
• 状態-行動空間を分解するために部分空間学習を用い、死亡率-治療強度相関のような交絡要因によるバイアスを低減する。
• 分布的出力を備えた深層Qネットワークを訓練し、価値予測における不確実性をモデル化する。
• 1つの決定的行動ではなく、1人の患者に対して複数の治療提案を生成することで、臨床的柔軟性を向上させる。
• 信頼度の閾値を適用して信頼性の低い提案をフィルタリングし、安全性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オフライン強化学習は、最小限のオンライン相互作用で、後向きEHRデータから信頼性の高い敗血症治療ポリシーを学習するためにどのように適合可能か？
• RQ2 治療強度と死亡率の間の交絡が、強化学習ポリシーを不十分な治療にバイアスさせる程度はどの程度か？
• RQ3 不確実性推定は、敗血症におけるRLベースの治療提案の信頼性と臨床的解釈可能性を向上させることができるか？
• RQ4 部分空間学習は、複雑で高次元の臨床データに適用されたオフライン強化学習において、バイアス低減にどの程度有効か？
• RQ5 本フレームワークは、個別化された敗血症管理意思決定を支援する、複数の高信頼性治療オプションを生成できるか？

主な発見

• オフラインデータから学習した強化学習ポリシーは、トレーニングデータにおける高治療強度と死亡率の関連性による交絡要因のため、不十分な治療にバイアスがかかった。
• 部分空間学習はこのバイアスを顕著に低減し、より正確で臨床的に妥当な治療ポリシーをもたらした。
• 不確実性推定は、希少または高リスクの治療状況を的確に特定し、低信頼性の提案をフラグとして検出するのに成功した。
• 本手法は1人の患者に対して複数の治療オプションを生成し、単一行動ポリシーと比較して臨床的柔軟性と個別化が向上した。
• 最終的なポリシーは、特に高重症度の敗血症症例において、多様な患者サブグループにわたる一般化性能が向上した。
• 標準ガイドラインがしばしば失敗する複雑な合併症を有する患者において、本フレームワークはより高い信頼性の提案を達成した。