[论文解读] Clinician-in-the-Loop Decision Making: Reinforcement Learning with Near-Optimal Set-Valued Policies

Shengpu Tang, Aditya Modi+2 more|arXiv (Cornell University)|Jul 24, 2020

Health Systems, Economic Evaluations, Quality of Life被引用 11

一句话总结

该论文提出了一种无模型强化学习算法，通过使用带有近似贪婪启发式策略的时间差分学习，学习集合值策略（SVPs），以在医疗保健领域识别近似等效的治疗行为。该方法发现了具有临床意义的行动集合，保持近似最优性的同时，通过整合患者偏好和副作用，支持临床医生参与决策。

ABSTRACT

Standard reinforcement learning (RL) aims to find an optimal policy that identifies the best action for each state. However, in healthcare settings, many actions may be near-equivalent with respect to the reward (e.g., survival). We consider an alternative objective -- learning set-valued policies to capture near-equivalent actions that lead to similar cumulative rewards. We propose a model-free algorithm based on temporal difference learning and a near-greedy heuristic for action selection. We analyze the theoretical properties of the proposed algorithm, providing optimality guarantees and demonstrate our approach on simulated environments and a real clinical task. Empirically, the proposed algorithm exhibits good convergence properties and discovers meaningful near-equivalent actions. Our work provides theoretical, as well as practical, foundations for clinician/human-in-the-loop decision making, in which humans (e.g., clinicians, patients) can incorporate additional knowledge (e.g., side effects, patient preference) when selecting among near-equivalent actions.

研究动机与目标

• 解决标准强化学习在医疗保健中的局限性，即单一最优行为可能忽略因奖励信号不完整而产生的临床相关近似等效治疗。
• 认识到在临床环境中，多种行为（如不同药物剂量）可能产生相似的生存结果，但在副作用或患者偏好方面存在差异。
• 开发一种可扩展的无模型算法，以学习返回近似等效行为集合而非单一最优行为的集合值策略。
• 在有向无环图（DAG）设置下提供理论收敛性和最优性保证，并通过启发式方法扩展至非DAG情形。
• 在MIMIC-III数据集上展示SVP在真实临床决策中的实际效用，特别是在败血症管理中的应用。

提出的方法

• 将集合值策略（SVPs）形式化为从状态到动作非空子集的确定性映射，以支持在近似等效选项中进行选择。
• 提出一种无模型的时间差分学习算法，结合近似贪婪动作选择启发式，以识别具有相似预期累积奖励的行为。
• 引入阈值参数 ζ 以定义近似最优性，即若价值估计差异小于 ζ，则将行为归为一组。
• 通过自举法进行价值函数估计，基于累积奖励相似性迭代更新动作集合成员资格。
• 应用状态抽象和时间编码（如就诊次数）将非马尔可夫动态转换为类似DAG的结构，以获得理论保证。
• 利用自举法（1,000次采样）估计MIMIC-sepsis数据集上价值估计和策略集合大小的标准误。

实验结果

研究问题

• RQ1 无模型强化学习算法能否在医疗决策中有效发现具有临床意义的近似等效行为集合？
• RQ2 所提出的算法在保持近似最优性的同时，如何为临床医生或患者在行为选择中提供灵活性？
• RQ3 近似等效行为集合在不同患者状态下的变化程度如何，特别是在与基线健康状态（V*(s)）相关时？
• RQ4 该算法在合成环境（DAG与非DAG）以及真实临床任务（如败血症管理）中的表现如何？
• RQ5 该框架能否通过提供一组近似等效治疗选项，支持人类参与决策，使临床医生能够基于非奖励因素（如副作用、成本、患者偏好）进行选择？

主要发现

• 该算法在MIMIC-sepsis数据集中成功发现了具有临床意义的近似等效行为集合，行为按相似的静脉输液和血管活性药物剂量分组。
• 在MIMIC-sepsis任务中，ζ = 0.05的SVP在测试集上获得84.3 ± 0.63的回报，显著优于基线（73.1 ± 0.97），并接近最优策略（91.6 ± 0.31）。
• 健康状况较好的患者状态（V*(s)值较高）平均具有更大的SVP（更多近似等效行为），表明当结果对治疗选择不敏感时，决策灵活性更高。
• 近似等效行为集合在剂量空间中并不总是连续的，表明近似最优性由结果相似性驱动，而非仅由剂量接近性决定。
• 该算法在合成DAG与非DAG环境中均表现出良好的收敛性和稳定性，近似贪婪启发式使其实用部署超越了理论DAG假设。
• 该框架通过提供一组近似等效行为，支持人类参与决策，使临床医生能够整合非奖励因素（如副作用、成本、患者偏好）。