[論文レビュー] Clinician-in-the-Loop Decision Making: Reinforcement Learning with Near-Optimal Set-Valued Policies

Shengpu Tang, Aditya Modi+2 more|arXiv (Cornell University)|Jul 24, 2020

Health Systems, Economic Evaluations, Quality of Life被引用数 11

ひとこと要約

本稿では、時間差学習と近似的にグリーディなヒューリスティックを用いて、医療分野における近似同等の治療行動を特定する集合価値方策（SVPs）を学習するモデルフリー強化学習アルゴリズムを提案する。この手法は、臨床的意味を持つ行動集合を発見し、近最適性を維持しながら、患者の好みや副作用を組み込むことで臨床医が意思決定に参加できる仕組みを提供する。

ABSTRACT

Standard reinforcement learning (RL) aims to find an optimal policy that identifies the best action for each state. However, in healthcare settings, many actions may be near-equivalent with respect to the reward (e.g., survival). We consider an alternative objective -- learning set-valued policies to capture near-equivalent actions that lead to similar cumulative rewards. We propose a model-free algorithm based on temporal difference learning and a near-greedy heuristic for action selection. We analyze the theoretical properties of the proposed algorithm, providing optimality guarantees and demonstrate our approach on simulated environments and a real clinical task. Empirically, the proposed algorithm exhibits good convergence properties and discovers meaningful near-equivalent actions. Our work provides theoretical, as well as practical, foundations for clinician/human-in-the-loop decision making, in which humans (e.g., clinicians, patients) can incorporate additional knowledge (e.g., side effects, patient preference) when selecting among near-equivalent actions.

研究の動機と目的

• 標準的な強化学習では、報酬信号が不完全な場合に、臨床的に意味のある近似同等の治療法を無視するという限界を是正する。
• 臨床現場では、生存率が類似するが副作用や患者の好みで異なる複数の治療法（例：薬剤投与量の違い）が存在することを認識する。
• スケーラブルでモデルフリーなアルゴリズムを開発し、単一の最適行動ではなく、近似同等の行動の集合を返す集合価値方策を学習する。
• 有向非巡回グラフ（DAG）設定下で理論的収束性および最適性の保証を提供し、ヒューリスティックな適応により非DAG設定へ拡張する。
• SVPの実用的有効性を、sepsis管理に特化したMIMIC-IIIデータセットを用いて実証的に示す。

提案手法

• 集合価値方策（SVPs）を、状態から空でない行動の部分集合への決定的写像として形式化し、近似同等の選択肢の中から選択を可能にする。
• 期待累積報酬が類似する行動を特定するため、近似的にグリーディな行動選択ヒューリスティックを用いたモデルフリー時間差学習アルゴリズムを提案する。
• 近最適性を定義するためのしきい値パラメータ ζ を導入し、価値推定値の差が ζ 未満である行動をグループ化する。
• 累積報酬の類似性に基づいて、ブートストラップを用いて反復的に行動集合の所属関係を更新する。
• 状態の抽象化と時間的符号化（例：訪問回数）を適用し、非マルコフ的ダイナミクスを理論的保証を得られるDAGに類似した構造に変換する。
• MIMIC-sepsisデータセット上で、価値推定と方策集合サイズの標準誤差を推定するために、ブートストラップ（1,000サンプル）を活用する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーの強化学習アルゴリズムは、医療意思決定において臨床的に意味のある近似同等の行動集合を効果的に発見できるか？
• RQ2 提案手法は、行動選択における臨床医や患者の入力を柔軟に受け入れながらも、近最適性を維持できるか？
• RQ3 ベースライン健康状態（V*(s)）に応じて、近似同等の行動集合はどのように変化するか、特に状態の違いに起因する変動はどの程度か？
• RQ4 本手法は、合成環境（DAGおよび非DAG）および実世界の臨床タスク（sepsis管理）の両方で効果的に機能するか？
• RQ5 本フレームワークは、副作用や患者の好みといった報酬以外の要因を考慮できるように、臨床医が意思決定に参加できる人間中心の意思決定を可能にするか？

主な発見

• MIMIC-sepsisデータセットにおいて、本アルゴリズムは臨床的に意味のある近似同等の行動集合を効果的に発見した。特に、静脈内液量と血管収縮薬投与量が類似する行動がグループ化された。
• MIMIC-sepsisタスクにおいて、ζ = 0.05のSVPはテストセット報酬として84.3 ± 0.63を達成し、ベースライン（73.1 ± 0.97）を顕著に上回り、最適方策（91.6 ± 0.31）に近づいた。
• 健康状態が良好な患者（V*(s)値が高い）では、平均的により大きなSVP（近似同等の行動が多数）を示し、治療選択に対する感受性が低い状態では意思決定の柔軟性が高まることを示唆した。
• 近似同等の行動集合は、常に投与量空間で連続的ではないことが判明し、近最適性は主に結果の類似性に起因していることが示された。
• 合成DAGおよび非DAG環境の両方で、本アルゴリズムは良好な収束性と安定性を示した。近似的にグリーディなヒューリスティックにより、理論的DAG仮定を超えた実用的導入が可能となった。
• 本フレームワークは、臨床医が副作用、費用、患者の好みといった報酬以外の要因を考慮して、近似同等の治療法の中から選択できる人間中心の意思決定を可能にした。