[论文解读] Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings

Shengpu Tang, Jenna Wiens|PubMed|Jul 23, 2021

Sepsis Diagnosis and Treatment参考文献 59被引用 23

一句话总结

本文提出了一种用于医疗领域离线强化学习的实用模型选择框架，以离策略评估（OPE）作为验证的代理指标。该框架评估了四种OPE方法——拟合Q评估（FQE）、加权重要性采样（WIS）、动作边际（AM）和双重强化学习（DRL）——发现FQE在政策排序方面最为准确，尽管其计算成本较高。为在准确性和效率之间取得平衡，作者提出了一种两阶段OPE流水线：首先使用快速但精度较低的WIS方法对策略进行过滤，然后仅对筛选后的子集应用FQE进行高精度排序，显著减少了计算量，同时保持了高质量的策略选择。

ABSTRACT

Reinforcement learning (RL) can be used to learn treatment policies and aid decision making in healthcare. However, given the need for generalization over complex state/action spaces, the incorporation of function approximators (e.g., deep neural networks) requires model selection to reduce overfitting and improve policy performance at deployment. Yet a standard validation pipeline for model selection requires running a learned policy in the actual environment, which is often infeasible in a healthcare setting. In this work, we investigate a model selection pipeline for offline RL that relies on off-policy evaluation (OPE) as a proxy for validation performance. We present an in-depth analysis of popular OPE methods, highlighting the additional hyperparameters and computational requirements (fitting/inference of auxiliary models) when used to rank a set of candidate policies. We compare the utility of different OPE methods as part of the model selection pipeline in the context of learning to treat patients with sepsis. Among all the OPE methods we considered, fitted Q evaluation (FQE) consistently leads to the best validation ranking, but at a high computational cost. To balance this trade-off between accuracy of ranking and computational efficiency, we propose a simple two-stage approach to accelerate model selection by avoiding potentially unnecessary computation. Our work serves as a practical guide for offline RL model selection and can help RL practitioners select policies using real-world datasets. To facilitate reproducibility and future extensions, the code accompanying this paper is available online.

研究动机与目标

• 为解决医疗领域离线强化学习中缺乏标准的训练-验证框架的问题，因为真实世界策略部署不可行。
• 评估离策略评估（OPE）方法作为离线RL模型选择中验证性能代理指标的实用性。
• 识别OPE方法在超参数敏感性、辅助模型需求和计算成本方面的实际权衡。
• 提出一种两阶段OPE流水线，通过减少在低质量策略上的无谓计算，加速模型选择过程。
• 为医疗领域RL研究者提供一份可复现的、实用的指南，以利用真实世界观察数据选择高性能策略。

提出的方法

• 作者在模拟的脓毒症治疗任务上实现并比较了四种OPE方法——FQE、WIS、AM和DRL，以对候选策略进行排序。
• 在表格设置和函数逼近设置下，评估了在早停和神经网络架构选择等场景下的模型选择性能。
• 提出一种两阶段模型选择流水线：首先使用WIS快速过滤掉表现较差的策略（因其计算成本低）；其次仅对筛选后的子集应用FQE以实现高精度排序。
• 该框架使用单一验证数据集同时用于训练辅助模型和计算OPE估计，尽管可能存在独立性假设违反的问题，但最大限度地提高了数据利用率。
• 作者发布了代码以确保可复现性，并支持未来在医疗领域强化学习研究中的扩展。
• 通过在具有受控行为策略和不同数据条件的模拟脓毒症环境中进行实证评估，检验了OPE方法的鲁棒性。

实验结果

研究问题

• RQ1 在医疗领域离线强化学习中，不同OPE方法（FQE、WIS、AM、DRL）在对候选策略进行排序方面的有效性如何？
• RQ2 OPE方法在超参数敏感性、辅助模型训练和计算成本方面的实际权衡是什么？
• RQ3 两阶段OPE流水线是否能在不牺牲策略选择准确性的前提下提升计算效率？
• RQ4 在模拟临床决策环境中的OPE方法排序与真实策略性能的相关性如何？
• RQ5 OPE方法的性能和可靠性在不同模型选择场景（如架构选择、早停）中变化程度如何？

主要发现

• 拟合Q评估（FQE）在所有模型选择场景中均持续产生最准确的策略排序，其与真实策略性能的相关性优于WIS、AM和DRL。
• WIS是计算效率最高的OPE方法，但其方差最大，排序结果最不可靠，尤其在低数据或行为策略质量差的条件下表现更差。
• 两阶段流水线（先用WIS进行初步过滤，再对筛选后的子集使用FQE）将总体计算时间减少了高达70%，同时保持了高排名准确性。
• OPE方法需要仔细调整辅助模型的超参数，且性能显著受建模选择的影响，凸显了系统性超参数搜索的必要性。
• 尽管模拟环境在现实性方面存在局限（如离散动作、无缺失数据），该框架在多样化设置下仍表现出一致的实用性，能够有效识别高性能策略。
• 本研究强调了在医疗领域强化学习中报告模型选择流程的重要性，以提升可复现性，并支持公平的算法比较。