[论文解读] Evaluating Reinforcement Learning Algorithms in Observational Health Settings

Omer Gottesman, Fredrik Johansson+18 more|arXiv (Cornell University)|May 31, 2018

Machine Learning in Healthcare参考文献 13被引用 86

一句话总结

本文分析在使用观测性健康数据评估强化学习策略时的挑战，强调在脓毒症管理中的混杂、表征和离策略评估问题，并提出最佳实践建议。

ABSTRACT

Much attention has been devoted recently to the development of machine learning algorithms with the goal of improving treatment policies in healthcare. Reinforcement learning (RL) is a sub-field within machine learning that is concerned with learning how to make sequences of decisions so as to optimize long-term effects. Already, RL algorithms have been proposed to identify decision-making strategies for mechanical ventilation, sepsis management and treatment of schizophrenia. However, before implementing treatment policies learned by black-box algorithms in high-stakes clinical decision problems, special care must be taken in the evaluation of these policies. In this document, our goal is to expose some of the subtleties associated with evaluating RL algorithms in healthcare. We aim to provide a conceptual starting point for clinical and computational researchers to ask the right questions when designing and evaluating algorithms for new ways of treating patients. In the following, we describe how choices about how to summarize a history, variance of statistical estimators, and confounders in more ad-hoc measures can result in unreliable, even misleading estimates of the quality of a treatment policy. We also provide suggestions for mitigating these effects---for while there is much promise for mining observational health data to uncover better treatment policies, evaluation must be performed thoughtfully.

研究动机与目标

• 推动在医疗保健中对强化学习策略进行审慎评估，特别是在患者生存不是实验的观测性环境中。
• 说明历史表征和混杂如何影响策略估计。
• 讨论在医疗保健强化学习中离策略评估方法和临时度量的局限性。
• 提供实用建议，以减轻策略评估中的偏差和方差。

提出的方法

• 将脓毒症管理形式化为一个包含来自 MIMIC III 数据的状态、行动和回报定义的强化学习问题。
• 演示状态表征选择如何影响混杂和策略质量。
• 将离策略评估方法（重要性采样：PDIS、WPDIS、DR、WDR）应用于回顾数据。
• 比较基于模型的价值估计和基于重要性采样的估计，以评估策略性能。
• 分析确定性 vs 随机性策略对评估偏差和方差的影响。
• 提供重要性权重分布和有效样本量的诊断。

实验结果

研究问题

• RQ1 患者历史的表征选择如何影响混杂以及学习到的策略的可靠性？
• RQ2 在脓毒症管理中的序列医疗决策中，离策略评估方法的局限性是什么？
• RQ3 在观测数据中，确定性行动策略如何影响 IS 估计量的方差与偏差？
• RQ4 在使用回顾性健康数据评估强化学习策略时，可以采用哪些最佳实践来减轻偏差？

主要发现

• 确定性策略常常导致高方差的 IS 估计，因为结果稀疏且匹配轨迹较少。
• 在此情境下，基于模型的价值估计有偏差但方差低于 IS 估计。
• 加权 IS（WDR、WPDIS）降低方差但引入偏差；无权重的 IS 显示极高的方差。
• 使用 IS 评估学习到的策略的有效样本量可能非常小，质疑结果的可靠性。
• 临时的 U 形分析可能因混杂与动作分箱伪影而误导；可解释性和临床人员输入至关重要。
• 评估更接近医生实践的策略可以提高可评估性和结论的可靠性。