[论文解读] Feedback Detection for Live Predictors

Stefan Wager, Nick Chamandy+2 more|arXiv (Cornell University)|Oct 10, 2013

Machine Learning and Algorithms参考文献 23被引用 5

一句话总结

本文提出一种局部随机化方法，通过向实时预测器输出注入微小的人工噪声，以检测现实系统中的因果反馈回路。通过将未来预测回归到注入的噪声上，该方法在无需对反馈机制做先验假设的情况下，识别出非线性反馈效应，并在具有高精度的搜索引擎试点研究中成功检测到反馈的形态与大小，即使存在噪声亦然。

ABSTRACT

A predictor that is deployed in a live production system may perturb the features it uses to make predictions. Such a feedback loop can occur, for example, when a model that predicts a certain type of behavior ends up causing the behavior it predicts, thus creating a self-fulfilling prophecy. In this paper we analyze predictor feedback detection as a causal inference problem, and introduce a local randomization scheme that can be used to detect non-linear feedback in real-world problems. We conduct a pilot study for our proposed methodology using a predictive system currently deployed as a part of a search engine.

研究动机与目标

• 为解决在模型影响自身训练数据或环境的实时预测系统中检测反馈回路的挑战。
• 开发一种无需事先了解反馈路径或机制即可检测反馈的方法。
• 实现实时部署系统中反馈效应的持续监控，以防止自证预言或模型退化。
• 将反馈检测问题建模为因果推断问题，使用潜在结果和随机实验方法。
• 通过已部署的搜索引擎预测器在真实场景中验证该方法。

提出的方法

• 引入一种局部扰动方案，在时间 t 的模型预测上添加小的、独立的噪声 ν ∼ N(0, σ²ν)。
• 将注入的噪声用作工具变量，通过回归估计当天预测对次日预测的因果效应。
• 使用样条非参数回归建模反馈为非线性函数 f(ŷ(t)) = E[ŷ(t+1) | ŷ(t)]，以捕捉跳跃和非线性特征。
• 使用 B=10 次重复的非参数自 resampling 方法计算估计反馈曲线的点态置信区间。
• 使用潜在结果符号表示问题：ȳ(t+1)[y(t)] 表示若 y(t) 不同，则在 t+1 时刻的反事实预测。
• 在简化情况下使用线性回归估计反馈斜率 β，其中 Δŷ(t+1) ≈ β·ν，为非线性扩展奠定基础。

实验结果

研究问题

• RQ1 当反馈机制未知且可能为非线性时，我们能否在实时预测器中检测到反馈？
• RQ2 在已部署系统中，如何区分连续预测之间的单纯相关性与因果反馈？
• RQ3 注入人工噪声对估计具有跳跃和非线性的反馈函数的能力有何影响？
• RQ4 该方法能否在不干扰正常运行的前提下检测现实系统中的反馈？
• RQ5 在生产环境中真实噪声水平和数据规模下，该方法表现如何？

主要发现

• 该方法在包含 100,000 个数据点且 σν=0.1 的模拟环境中，成功检测到反馈形状，包括零点处的跳跃。
• 估计的反馈曲线与真实反馈函数高度接近，误差棒显示了来自自 resampling 的可靠点态置信区间。
• 即使平均反馈幅度处于分类器噪声水平以内，反馈效应仍可被检测，表明对微弱反馈具有敏感性。
• 该方法实现了反馈的持续监控，可提前检测可能放大反馈效应的系统变化。
• 与传统基于相关性的方法相比，该方法能更好地区分因果反馈与虚假关联。
• 附录 B 中的模拟结果证实了该方法在多种效应大小下的稳健性，支持其在大规模系统中的实际部署。