[论文解读] Model updating after interventions paradoxically introduces bias

James Liley, Samuel R. Emerson+4 more|arXiv (Cornell University)|Oct 22, 2020

Machine Learning in Healthcare参考文献 1被引用 7

一句话总结

本文提出一种因果框架，用于分析在预测模型驱动行动并改变结果的场景中，对干预后进行简单模型更新如何导致偏差。研究表明，重复更新可能导致模型收敛至自我实现的预测或不稳定的振荡，从而即使使用更优算法，也会损害模型的可靠性。

ABSTRACT

Machine learning is increasingly being used to generate prediction models for use in a number of real-world settings, from credit risk assessment to clinical decision support. Recent discussions have highlighted potential problems in the updating of a predictive score for a binary outcome when an existing predictive score forms part of the standard workflow, driving interventions. In this setting, the existing score induces an additional causative pathway which leads to miscalibration when the original score is replaced. We propose a general causal framework to describe and address this problem, and demonstrate an equivalent formulation as a partially observed Markov decision process. We use this model to demonstrate the impact of such `naive updating' when performed repeatedly. Namely, we show that successive predictive scores may converge to a point where they predict their own effect, or may eventually tend toward a stable oscillation between two values, and we argue that neither outcome is desirable. Furthermore, we demonstrate that even if model-fitting procedures improve, actual performance may worsen. We complement these findings with a discussion of several potential routes to overcome these issues.

研究动机与目标

• 识别并形式化使用受先前模型驱动干预影响的数据对预测模型进行简单更新时引入的偏差。
• 构建一个通用的因果框架，用于分析模型驱动干预对后续模型性能和校准的影响。
• 证明重复模型更新可能导致收敛至自我预测的均衡点或不稳定的振荡，这两种情况均不可取。
• 将简单模型替换与另一种策略——“连续辅助”（successive adjuvancy）——进行对比，后者通过逐步增加新模型而非替换旧模型来实现。
• 强调由于缺乏保留测试数据，性能下降可能无法被察觉，从而削弱信任和监管监督。

提出的方法

• 使用包含预测变量（X）、结果变量（Y）以及受预测评分影响的干预机制的结构因果模型来形式化问题。
• 将系统建模为部分可观测的马尔可夫决策过程，以捕捉序列决策和反馈回路。
• 将“简单模型替换”定义为：在结果已受先前预测和干预影响的数据上拟合新模型。
• 提出“连续辅助”作为替代策略：将新预测评分叠加到现有评分上，而非替换它们。
• 采用约束优化框架来定义模型的最终目标：在干预受限条件下最小化不良结果。
• 分析在多个训练周期中预测评分的稳定性和收敛特性，特别是在重复更新条件下的表现。

实验结果

研究问题

• RQ1 使用受先前模型驱动干预影响的数据更新预测模型，会如何引入偏差？
• RQ2 在干预驱动的场景中，反复更新的预测模型的长期动态行为是什么？
• RQ3 为何即使使用更优模型，简单模型替换仍会导致校准偏差？
• RQ4 像“连续辅助”这样的替代策略能否缓解反馈回路中模型更新引入的偏差？
• RQ5 在何种条件下，模型更新会导致收敛至自我实现的预测或振荡行为？

主要发现

• 简单模型更新会导致偏差，因为训练数据包含了先前预测所改变的结果，导致新模型学习到自身前驱模型的影响。
• 重复模型更新可能导致收敛至一个固定点，此时模型预测自身的效应，形成自我实现的预言。
• 在某些情况下，模型可能在两个值之间进入稳定振荡，表明尽管反复更新，仍存在持续的不稳定性。
• 即使模型拟合过程得到改进，由于干预驱动的数据污染所引发的反馈回路，实际预测性能仍可能恶化。
• 若缺乏保留测试集，利益相关者可能无法随时间检测到性能下降，因为模型在污染数据上表现良好。
• 本研究证明，模型稳定性并不保证最优性能，且在干预反馈效应存在时，稳定性可能是一种假象。