[论文解读] Learning Cost-Effective Treatment Regimes using Markov Decision Processes

Himabindu Lakkaraju, Cynthia Rudin|arXiv (Cornell University)|Oct 21, 2016

Advanced Causal Inference Techniques参考文献 25被引用 10

一句话总结

该论文提出了一种新颖的框架CITR，通过将决策过程建模为马尔可夫决策过程（MDP），并利用定制化的UCT算法优化一个兼顾结果最大化、评估成本降低和治疗成本最小化的多目标函数，实现低成本、可解释的治疗方案学习。该方法生成的决策列表在医疗和司法场景中均优于当前最先进基线方法，展现出更低的成本和更优的结果。

ABSTRACT

Decision makers, such as doctors and judges, make crucial decisions such as recommending treatments to patients, and granting bails to defendants on a daily basis. Such decisions typically involve weighting the potential benefits of taking an action against the costs involved. In this work, we aim to automate this task of learning \emph{cost-effective, interpretable and actionable treatment regimes}. We formulate this as a problem of learning a decision list -- a sequence of if-then-else rules -- which maps characteristics of subjects (eg., diagnostic test results of patients) to treatments. We propose a novel objective to construct a decision list which maximizes outcomes for the population, and minimizes overall costs. We model the problem of learning such a list as a Markov Decision Process (MDP) and employ a variant of the Upper Confidence Bound for Trees (UCT) strategy which leverages customized checks for pruning the search space effectively. Experimental results on real world observational data capturing judicial bail decisions and treatment recommendations for asthma patients demonstrate the effectiveness of our approach.

研究动机与目标

• 解决现有方法在决策过程中未能联合优化治疗结果、评估成本和治疗成本的问题。
• 开发一种可解释、可操作的治疗方案，以决策列表形式呈现，可供医生、法官等人类从业者采纳。
• 将治疗方案学习问题建模为马尔可夫决策过程（MDP），并提出一种新颖的目标函数，整合结果、评估成本和治疗成本。
• 在基于UCT的MDP求解器中设计定制化的剪枝策略，以高效搜索可能的决策列表空间。
• 在哮喘治疗和司法保释决策的真实观察数据上，对框架进行实证验证。

提出的方法

• 该框架将治疗方案学习建模为马尔可夫决策过程（MDP），其中状态表示部分决策规则，动作表示添加条件或分配治疗。
• 提出一种新颖的目标函数，联合优化期望结果、评估成本和治疗成本，并在各分量之间进行权衡。
• 使用UCT算法的变体求解MDP，通过引入领域特定的剪枝检查以缩小搜索空间。
• 应用定制化的剪枝规则，提前剔除次优决策路径，例如在廉价替代方案已足够时避免昂贵的检测。
• 该方法输出一个决策列表——一系列if-then-else规则——将患者或被告的特征映射到最优治疗方案。
• 该方法在哮喘护理和司法保释决策的真实世界观察数据集上进行训练和评估。

实验结果

研究问题

• RQ1 是否存在一种统一框架，能够同时在临床和司法决策中优化治疗结果、评估成本和治疗成本？
• RQ2 将评估成本和治疗成本纳入模型，对所学治疗方案的复杂性和可解释性有何影响？
• RQ3 所提出的基于MDP的方法在结果和成本效率方面，相较于现有基线方法的优越程度如何？
• RQ4 目标函数中的各个组成部分（结果、评估成本、治疗成本）对最终方案性能的贡献程度如何？
• RQ5 所生成的决策列表是否在现实场景中对人类决策者而言既可解释又可操作？

主要发现

• 在哮喘数据集上，CITR框架相较于最佳基线方法（IPTL）实现了12.5%的结果提升，同时将平均治疗成本降低了28%。
• 在保释数据集上，CITR相比次佳基线方法将平均评估成本降低了35%，并实现了10.2%的结果提升。
• 消融研究显示，若移除评估成本项，保释数据集上的平均评估成本将上升31%，哮喘数据集则上升24%，证实其关键作用。
• CITR所学方案平均诊断检查次数更少：每位患者仅需2.1次检查，而次佳基线为3.4次，表明效率更高。
• 该框架成功将更便宜且信息量更高的特征优先安排在决策列表的早期阶段，例如对91.77%的患者避免了昂贵的甲基胆碱测试。
• 最终生成的决策列表显著更具可解释性：60%的规则包含少于3个条件，且与临床和法律指南保持一致。