[论文解读] HOPE: Human-Centric Off-Policy Evaluation for E-Learning and Healthcare

Ge Gao, Song Ju+2 more|arXiv (Cornell University)|Feb 18, 2023

Advanced Causal Inference Techniques被引用 4

一句话总结

HOPE 提出了一种以人为中心的离策略评估方法，用于教育和医疗领域，通过在关键观测点上使用最近邻估计法，从聚合结果（如测试成绩、患者康复情况）中重建缺失的即时奖励。该方法在脓毒症治疗和智能辅导系统中均优于最先进离策略评估基准，实现了最精确的回报估计，并在真实世界评估中正确识别出最优策略。

ABSTRACT

Reinforcement learning (RL) has been extensively researched for enhancing human-environment interactions in various human-centric tasks, including e-learning and healthcare. Since deploying and evaluating policies online are high-stakes in such tasks, off-policy evaluation (OPE) is crucial for inducing effective policies. In human-centric environments, however, OPE is challenging because the underlying state is often unobservable, while only aggregate rewards can be observed (students' test scores or whether a patient is released from the hospital eventually). In this work, we propose a human-centric OPE (HOPE) to handle partial observability and aggregated rewards in such environments. Specifically, we reconstruct immediate rewards from the aggregated rewards considering partial observability to estimate expected total returns. We provide a theoretical bound for the proposed method, and we have conducted extensive experiments in real-world human-centric tasks, including sepsis treatments and an intelligent tutoring system. Our approach reliably predicts the returns of different policies and outperforms state-of-the-art benchmarks using both standard validation methods and human-centric significance tests.

研究动机与目标

• 解决在底层状态不可观测、仅能获取聚合奖励（如最终测试成绩、患者出院）的人为中心环境中离策略评估（OPE）的挑战。
• 通过从历史轨迹中重建缺失的即时奖励，利用部分可观测性和延迟反馈，提升OPE性能。
• 通过一种新颖的奖励重建框架，识别影响最终结果的关键观测点，提升真实世界教育和医疗环境中OPE的可靠性。
• 不仅通过标准指标（如绝对误差、等级相关性）验证OPE方法，还通过人为中心的显著性检验确保统计稳健性。
• 证明重建中间奖励可实现比稀疏奖励假设更精确的策略性能估计。

提出的方法

• 基于历史轨迹，使用最近邻方法从聚合奖励中重建即时奖励，重点关注对最终结果具有高影响力的观测点。
• 将“关键观测点”定义为对最终回报具有高影响力的观测点，使用基于距离的度量方法识别用于奖励估计的相关邻居。
• 应用加权重要性采样（WIS）方法，利用重建的即时奖励估计期望总回报，确保与现有OPE方法的兼容性。
• 提出三种变体：Sparse-HOPE（稀疏奖励）、Soft-HOPE（对所有观测点进行均匀平均）和 Rand-HOPE（随机选择邻居），用于消融实验和对比分析。
• 使用自助法计算置信区间，并进行显著性检验，以验证在人为中心情境下OPE结果的可靠性。
• 对所有教育和电子健康记录（EHR）数据采用既定评分标准和经机构审查委员会（IRB）批准的去标识化协议，确保评估过程的伦理性和隐私合规性。

实验结果

研究问题

• RQ1 从聚合结果中重建缺失的即时奖励，是否能提升在部分可观测的人为中心环境中离策略评估的准确性？
• RQ2 关键观测点的识别如何影响教育和医疗领域中OPE的可靠性和精确性？
• RQ3 与稀疏奖励假设相比，奖励重建是否能在真实世界的医疗和教育任务中实现更好的策略排序和回报估计？
• RQ4 HOPE及其变体在标准指标和人为中心显著性检验方面，与最先进OPE基准相比表现如何？
• RQ5 当存在真实回报时，所提出的方法是否能正确识别出表现最佳的策略？

主要发现

• 在智能辅导系统和脓毒症治疗数据集上，HOPE实现了最精确的回报估计，其对 π₁ 的平均估计值为 0.176 ± 0.01，对 π_expert 的平均估计值为 0.008 ± 0.00，最接近真实经验基准值 0.167 ± 0.02 和 0.054 ± 0.06。
• 在智能辅导系统中，HOPE 在平均绝对误差和 regret@1 方面优于所有基线方法；在两个数据集上，其等级相关性也表现最佳。
• Soft-HOPE 在医疗数据上实现了最高的等级相关性，但在 regret@1 和辅导数据上的排序表现较差，表明均匀平均会引入噪声并削弱策略排序能力。
• Rand-HOPE 在两种环境中均优于所有基线方法，表明即使随机奖励重建也优于稀疏奖励，但 HOPE 表现更优，证实了结构化邻居选择的价值。
• 在两个真实世界应用中，仅 HOPE 及其变体成功选出了最优策略，且 HOPE 是唯一正确识别出 π_expert 优于其他策略的方法。
• 通过显著性检验，该方法展示了统计稳健性，验证了其在人为中心领域中超越标准误差指标的可靠性。