[論文レビュー] Identifying Distinct, Effective Treatments for Acute Hypotension with SODA-RL: Safely Optimized Diverse Accurate Reinforcement Learning

Joseph Futoma, Muhammad Adnan Masood+1 more|PubMed|Jan 9, 2020

Sepsis Diagnosis and Treatment参考文献 32被引用数 4

ひとこと要約

本論文では、観察的ICUデータから急性低血圧症に対する多様で安全かつ正確な治療方針を同定する強化学習フレームワーク、SODA-RLを提案する。安全性、多様性、正確性を最適化することで、SODA-RLは医師のパフォーマンスと同等の複数の明確に異なる臨床的戦略（例えば、液体投与量や血管収縮薬投与量の変更）を学習し、意思決定支援のための臨床的に妥当な代替案を提供する。

ABSTRACT

Hypotension in critical care settings is a life-threatening emergency that must be recognized and treated early. While fluid bolus therapy and vasopressors are common treatments, it is often unclear which interventions to give, in what amounts, and for how long. Observational data in the form of electronic health records can provide a source for helping inform these choices from past events, but often it is not possible to identify a single best strategy from observational data alone. In such situations, we argue it is important to expose the collection of plausible options to a provider. To this end, we develop SODA-RL: Safely Optimized, Diverse, and Accurate Reinforcement Learning, to identify distinct treatment options that are supported in the data. We demonstrate SODA-RL on a cohort of 10,142 ICU stays where hypotension presented. Our learned policies perform comparably to the observed physician behaviors, while providing different, plausible alternatives for treatment decisions.

研究の動機と目的

• 観察的データから単一の最適な方針を信頼性を持って同定できないICU環境において、複数の妥当で効果的な急性低血圧症治療戦略を同定する課題に対処すること。
• 学習された方針が安全で、多様であり、現在の臨床実践に近いことを保証する強化学習フレームワークを開発すること。
• 臨床現場での実際の変動を反映し、個別化された意思決定を支援できる、明確に区別されるデータ支援治療選択肢のセットを臨床家に提供すること。
• 標準的な強化学習が観察的医療データにおいて抱える制限を克服し、単一の最適方針ではなく、高品質で妥当な方針の集合に焦点を当てる。
• 観察された治療パターンに基づいて支持される、かつ明確に区別される方針を同定することで、実用的な臨床的知見の生成を可能にすること。

提案手法

• SODA-RLは、制約付き方針最適化目的関数を用いて、安全性、多様性、正確性を同時に最適化するマルチエージェント強化学習フレームワークである。
• 本手法は、生理的安定性の向上と結果の改善を促進する報酬関数を用い、危険または非生理的行動に対してペナルティを課す。
• 多様性は、局所的およびグローバルな多様性損失を介して強制され、異なる臨床状態において、方針が明確に異なる行動選択を行うことを保証する。
• 安全性は、観察された医師行動の信頼区間（ε = 0.03）内に方針を保つことで維持され、現在の臨床実践との整合性が保たれる。
• 正確性項には、学習された方針が観察された行動分布に近くなるように、対称化KLダイバージェンス（symKL）損失が用いられる。
• 方針は、血圧低下を示す10,142件のICU滞在データを用いて訓練され、バイタルサインおよび検査値から得られる状態特徴を用いたマルコフ意思決定過程（MDP）の定式化に基づく。

実験結果

リサーチクエスチョン

• RQ1 観察的EHRデータから、複数の明確に異なる、安全で効果的な急性低血圧症治療方針を強化学習フレームワークが同定できるか？
• RQ2 安全性、多様性、正確性の各要素が、学習された方針の質および臨床的関連性にどのように寄与するか？
• RQ3 学習された方針は、現在の臨床実践で観察される実際の、臨床的に意味のある治療変動を反映しているか？
• RQ4 単一の最適方針を同定できない状況において、明確に区別され、かつデータによって支持される妥当な治療代替案の集合を生成することは可能か？
• RQ5 パフォーマンスおよび行動選択パターンの観点から、学習された方針は実際の医師行動とどのように比較できるか？

主な発見

• SODA-RLは、10,142件のICUコhortにおいて、観察された医師行動と同等の推定パフォーマンスを達成した3つの明確に異なる治療方針を成功裏に学習した。
• 3つの方針は、意味のある局所的およびグローバルな多様性を示した：1つは高用量の血管収縮薬に加え液体投与を重視し、もう1つは低用量の血管収縮薬を重視し、3つ目は中程度の血管収縮薬を用いた多様な液体投与量の戦略を重視した。
• 定性的分析により、各エージェントが特定の状態で異なる臨床的に妥当な行動の組み合わせに高い確率を割り当てており、実際の臨床的変動を捉えていることが確認された。
• アブレーションスタディの結果、安全性、多様性、正確性の3要素すべてが不可欠であることが示された：いずれかの要素を欠くと、方針の質または多様性が低下した。
• 方針は、高乳酸血症および低MAP状態を含むさまざまな生理的状態においても、安定した性能を示した。特に、状態が不安定な患者サブセットでは、明確に異なる行動分布が観察された。
• 正確性項におけるsymKL損失は、観察された臨床行動に忠実である一方で、多様性と安全性を維持する上で不可欠な役割を果たした。