[论文解读] Active Learning for Decision-Making from Imbalanced Observational Data

Iiris Sundin, Peter Schulam+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Causal Inference Techniques参考文献 28被引用 8

一句话总结

本文提出了一种决策意识主动学习方法，通过最小化类型S错误率（即错误推断个体治疗效应符号的概率）来提高从不平衡观察数据中进行个性化决策的可靠性。通过使用贝叶斯估计类型S错误率，并结合反事实诱导的主动查询，该方法在数据有限及医疗应用中均优于标准主动学习，显著降低了决策错误。

ABSTRACT

Machine learning can help personalized decision support by learning models to predict individual treatment effects (ITE). This work studies the reliability of prediction-based decision-making in a task of deciding which action $a$ to take for a target unit after observing its covariates $ ilde{x}$ and predicted outcomes $\hat{p}( ilde{y} \mid ilde{x}, a)$. An example case is personalized medicine and the decision of which treatment to give to a patient. A common problem when learning these models from observational data is imbalance, that is, difference in treated/control covariate distributions, which is known to increase the upper bound of the expected ITE estimation error. We propose to assess the decision-making reliability by estimating the ITE model's Type S error rate, which is the probability of the model inferring the sign of the treatment effect wrong. Furthermore, we use the estimated reliability as a criterion for active learning, in order to collect new (possibly expensive) observations, instead of making a forced choice based on unreliable predictions. We demonstrate the effectiveness of this decision-making aware active learning in two decision-making tasks: in simulated data with binary outcomes and in a medical dataset with synthetic and continuous treatment outcomes.

研究动机与目标

• 解决在处理协变量分布在处理组与对照组之间存在差异的不平衡观察数据时，个体治疗效应（ITE）估计不可靠的问题。
• 通过估计类型S错误率来量化决策可靠性，该错误率衡量的是错误推断治疗效应符号的概率。
• 开发基于最小化估计类型S错误率的主动学习准则，优先选择能提升决策可靠性的数据进行收集。
• 通过反事实诱导实现间接数据获取——收集专家意见或模拟结果，以了解在不同行动下本应发生的结果。
• 证明决策意识主动学习在减少合成数据与真实医疗数据上的决策错误方面优于标准方法。

提出的方法

• 提出一种贝叶斯框架，用于估计类型S错误率作为决策可靠性的度量，其定义为模型错误预测个体治疗效应符号的概率。
• 引入一种决策意识采集函数，选择新观测样本以最小化估计的类型S错误率，而非仅依赖不确定性或期望信息增益。
• 设计两类反事实诱导查询：(1) 从有噪声的预言者处获取反事实结果的标量点估计；(2) 事实结果与反事实结果之间的成对比较。
• 使用高斯过程模型结合概率推理（通过Stan实现），联合学习直接反馈与比较反馈，实现在数据不平衡条件下的稳健个体治疗效应估计。
• 采用序列模型更新与k-最近邻近似方法，在保持性能的同时降低计算成本。
• 使用自举法置信区间评估决策准确率提升的统计显著性。

实验结果

研究问题

• RQ1 观察研究中的数据不平衡在多大程度上影响决策中个体治疗效应估计的可靠性？
• RQ2 类型S错误率能否作为评估错误治疗决策风险的可靠且可量化的指标？
• RQ3 基于估计类型S错误率的主动学习是否比标准主动学习方法更有效地减少决策错误？
• RQ4 当直接数据收集成本过高或存在伦理问题时，通过反事实诱导（如专家判断或模拟结果）实现的间接数据收集，是否能提升决策性能？
• RQ5 在数据有限的情况下，不同查询类型（点估计与成对比较）在提升决策准确性方面的表现如何？

主要发现

• 所提出的贝叶斯类型S错误率估计在模拟中与实际观察到的类型S错误率表现出强相关性，验证了其作为可靠可靠性度量的有效性。
• 决策意识主动学习显著加快了决策准确率的提升，优于不确定性采样与期望信息增益（EIG），且在仅一个查询后即实现统计显著的性能提升。
• 在二值结果的模拟数据中，决策意识主动学习与目标导向信息增益（Targeted-IG）采集函数优于EIG与不确定性采样，前者更早实现更高比例的正确决策。
• 相较于直接观测结果，比较反馈（成对结果比较）在提升决策性能方面更为有效，因其提供了关于治疗效应方向的更丰富信息。
• 该方法在具有连续治疗结果的真实医疗数据集中也表现出有效性，表明反事实诱导可增强实际临床决策支持场景中模型的可靠性。
• 通过k-最近邻近似降低计算量的方法在k值过低时导致性能下降，表明效率与准确率之间存在权衡。