[論文レビュー] A Conservative Q-Learning approach for handling distribution shift in sepsis treatment strategies

Pramod Kaushik, Sneha Kummetha+2 more|arXiv (Cornell University)|Mar 25, 2022

Sepsis Diagnosis and Treatment被引用数 5

ひとこと要約

本稿では、敗血症治療におけるオフライン強化学習の分布シフトを軽減するため、保守的Q学習（CQL）手法を提案する。医師の治療実践と整合性の高い方策を学習することで、特に重症（高SOFA）患者において、標準DQNよりも優れた医師の行動を模倣する、血管収縮薬および静脈内液投与量のより臨床的に正確な方策を学習する。

ABSTRACT

Sepsis is a leading cause of mortality and its treatment is very expensive. Sepsis treatment is also very challenging because there is no consensus on what interventions work best and different patients respond very differently to the same treatment. Deep Reinforcement Learning methods can be used to come up with optimal policies for treatment strategies mirroring physician actions. In the healthcare scenario, the available data is mostly collected offline with no interaction with the environment, which necessitates the use of offline RL techniques. The Offline RL paradigm suffers from action distribution shifts which in turn negatively affects learning an optimal policy for the treatment. In this work, a Conservative-Q Learning (CQL) algorithm is used to mitigate this shift and its corresponding policy reaches closer to the physicians policy than conventional deep Q Learning. The policy learned could help clinicians in Intensive Care Units to make better decisions while treating septic patients and improve survival rate.

研究の動機と目的

• 敗血症治療におけるオフライン強化学習の分布シフトを是正すること。特に、高SOFA患者ではデータが乏しく、モデルの一般化性能が低いことが問題である。
• 臨床実践に即した治療方針の忠実度を向上させること。特に、重症（高SOFA）状態の患者において、医師の意思決定行動を的確に再現することを目的とする。
• 高用量の血管収縮薬投与など、稀または分布外の状態における、深層Qネットワークの過大評価バイアスを是正すること。
• ICU意思決定支援のためのより保守的かつ信頼性の高い強化学習方策を構築し、臨床実践と整合させることで、死亡率リスクを低減すること。

提案手法

• MIMIC-III v1.4データを用い、敗血症治療に適応したダュエルイングダブルDQNアーキテクチャを採用。状態特徴量は4時間ごとに集約した。
• 分布外の行動に対する過大評価を抑制するため、Q関数の損失に保守的ペナルティ項を導入。log-sum-expの定式化を用いた。
• CQL損失を次式で定式化した：$ L(\theta) = \alpha \mathbb{E}_{s_t \sim D} \left[ \log \sum_a \exp Q_\theta(s_t, a) - \mathbb{E}_{a \sim D} Q_\theta(s_t, a) \right] + L_{\text{DoubleDQN}}(\theta) $。保守的価値推定を促進する。
• 血管収縮薬および静脈内液投与量の離散的行動空間を用い、それぞれ四分位数（0–4）に分割。0は投与なしを示す。
• 環境との相互作用なしに、静的データセット上で学習を実施。歴史的ICUデータに依存して最適な治療方策を学習した。
• 2次元ヒストограмを用いて、SOFA重症度群ごとの行動分布を評価し、医師およびベースラインDQN方策と比較した。

実験結果

リサーチクエスチョン

• RQ1 保守的Q学習は、特にデータが乏しく、高SOFA状態である敗血症治療のオフライン深層強化学習において、過大評価バイアスを軽減できるか？
• RQ2 CQL方策は、患者の重症度レベルに応じて、実際の医師の治療パターンとどの程度整合性を示すか？
• RQ3 保守的正則化による分布シフトの是正は、模擬的治療結果における死亡率の低減に寄与するか？
• RQ4 標準DQNがデータが乏しいために失敗する重症患者（高SOFA）において、CQLモデルは一般化可能か？

主な発見

• CQLモデルは、医師の行動をよく再現する方策を学習した。特に、高SOFA状態でのみ高用量の血管収縮薬を投与するという点で、標準DQNとは対照的であった。
• 高SOFA状態では、CQLモデルが標準DQNよりも高い血管収縮薬投与量を示した。これは臨床実践と整合し、方策の現実性を向上させた。
• CQL方策は、投与量の差が最小限のとき、特に中程度および高SOFA群で死亡率が低かった。
• CQLモデルは、分布外の行動のQ値の過大評価を低減した。特に、稀または重症患者状態において、保守的価値正則化を強制することで実現した。
• 2次元行動ヒストограмにおいて、CQL方策は、全SOFA重症度レベルで医師方策と類似した行動分布を示し、優れた行動を示した。
• 今後の定量的でオフポリシー評価の導入が、臨床現場への導入に先立って妥当性を検証するために必要であると同定された。