[论文解读] Interpretable Off-Policy Evaluation in Reinforcement Learning by Highlighting Influential Transitions

Omer Gottesman, Joseph Futoma+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning in Healthcare参考文献 24被引用 12

一句话总结

本文提出一种方法，通过使用精确影响函数识别并突出显示观测数据中最具影响力的转移，以增强强化学习中离策略评估（OPE）的可信度。通过让领域专家验证这些高影响力转移，该方法提高了OPE估计的鲁棒性和可解释性，尤其在数据噪声和混淆常见的医疗保健应用中表现更优。

ABSTRACT

Off-policy evaluation in reinforcement learning offers the chance of using observational data to improve future outcomes in domains such as healthcare and education, but safe deployment in high stakes settings requires ways of assessing its validity. Traditional measures such as confidence intervals may be insufficient due to noise, limited data and confounding. In this paper we develop a method that could serve as a hybrid human-AI system, to enable human experts to analyze the validity of policy evaluation estimates. This is accomplished by highlighting observations in the data whose removal will have a large effect on the OPE estimate, and formulating a set of rules for choosing which ones to present to domain experts for validation. We develop methods to compute exactly the influence functions for fitted Q-evaluation with two different function classes: kernel-based and linear least squares, as well as importance sampling methods. Experiments on medical simulations and real-world intensive care unit data demonstrate that our method can be used to identify limitations in the evaluation process and make evaluation more robust.

研究动机与目标

• 解决高风险领域（如医疗保健）中离策略评估（OPE）缺乏可解释性和可信度的问题，这些领域中数据常存在噪声和混淆。
• 克服传统OPE方法依赖不可验证假设、产生过于保守误差范围的局限性。
• 通过识别删除后会显著改变OPE估计的数据转移，将领域专家知识整合到OPE流程中。
• 开发一种实用的人机协作框架用于OPE，让专家验证高影响力转移以提高估计的可靠性。
• 在真实医疗决策场景（如急性低血压的ICU管理）中展示该方法的实用性。

提出的方法

• 为拟合Q评估（FQE）中的两类函数（基于核函数和线性最小二乘）计算精确影响函数。
• 将影响函数计算扩展至用于离策略评估的重要性采样（IS）估计器。
• 制定一套规则，以选择并呈现最具影响力的转移——即删除后对OPE估计影响最大的转移——供领域专家审阅。
• 利用影响分析检测临床数据集中存在的数据质量问题，如测量误差和时间错位。
• 通过整合专家反馈，迭代地修正或移除有问题的转移，以优化OPE估计。
• 在合成模拟和真实ICU数据上应用该方法，验证其在识别和解决数据不一致性方面的有效性。

实验结果

研究问题

• RQ1 如何利用影响函数识别一批观测数据中对离策略评估最具影响力的转移？
• RQ2 通过影响分析在OPE中可检测到哪些类型的数据质量问题，如测量误差或时间错位？
• RQ3 领域专家能否通过验证影响函数识别出的高影响力转移来提高OPE估计的可靠性？
• RQ4 基于影响的诊断方法与传统置信区间相比，在评估OPE估计有效性方面表现如何？
• RQ5 影响分析在多大程度上能提升真实医疗应用中OPE的可解释性和鲁棒性？

主要发现

• 影响分析成功在真实ICU急性低血压管理数据集中识别出六个具有影响力的转移，后经一名临床重症监护医师验证。
• 其中一个被标记的转移因单次异常的平均动脉压（MAP）读数而被识别为可能的测量误差；纠正后其影响降为零。
• 另一个转移因时间戳错误导致治疗延迟；纠正时间后，其对OPE估计的高影响力被消除。
• 在通过影响分析识别并修正数据问题后，OPE估计变得更加稳健，对个别异常值的敏感性降低。
• 该方法使临床医生能够发现原本被汇总统计掩盖的临床不合理的数据模式，从而提升数据质量和估计可信度。
• 该框架在真实临床环境中展现出实际应用价值，表明影响分析可作为OPE中数据质量和模型可靠性诊断的有效工具。