[论文解读] Achieving Risk Control in Online Learning Settings

Shai Feldman, Ringel, Liran+2 more|arXiv (Cornell University)|May 18, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出滚动风险控制（Rolling RC），一种新颖的框架，使在线学习模型能够在任意、可能具有对抗性的数据分布变化下，构建具有可证明风险控制的预测集——如覆盖率、假阴性率或F1分数。通过将自适应归纳推断扩展至任意损失函数，该方法在计算开销最小化且无需额外实现成本的前提下，确保用户指定水平下的风险控制。

ABSTRACT

To provide rigorous uncertainty quantification for online learning models, we develop a framework for constructing uncertainty sets that provably control risk -- such as coverage of confidence intervals, false negative rate, or F1 score -- in the online setting. This extends conformal prediction to apply to a larger class of online learning problems. Our method guarantees risk control at any user-specified level even when the underlying data distribution shifts drastically, even adversarially, over time in an unknown fashion. The technique we propose is highly flexible as it can be applied with any base online learning algorithm (e.g., a deep neural network trained online), requiring minimal implementation effort and essentially zero additional computational cost. We further extend our approach to control multiple risks simultaneously, so the prediction sets we generate are valid for all given risks. To demonstrate the utility of our method, we conduct experiments on real-world tabular time-series data sets showing that the proposed method rigorously controls various natural risks. Furthermore, we show how to construct valid intervals for an online image-depth estimation problem that previous sequential calibration schemes cannot handle.

研究动机与目标

• 解决在线学习在分布变化下缺乏严格不确定性量化的问题。
• 将归纳推断从覆盖率扩展至控制任意风险度量（如假阴性率或F1分数）。
• 开发一种方法，在无需对数据分布做任何假设的前提下，保证在用户指定水平下的风险控制。
• 实现在在线预测设置中对多种风险的同步控制。
• 提供即插即用的解决方案，兼容任意在线学习算法（包括深度神经网络），且计算成本可忽略不计。

提出的方法

• 该方法将风险控制建模为对预测集的序列优化问题，利用校准拉伸函数根据模型置信度调整预测集大小。
• 以自适应归纳推断（ACI）为基础，但通过引入风险感知的符合度评分，将其推广至任意损失函数。
• 核心机制采用随时间变化的校准系数 $\varphi(\theta_t)$，以调整预测集边界，使其满足预设风险水平 $r$。
• 对于回归任务，通过 $\tau_t = \varphi(\theta_t)$ 调整分位数水平，实现对区间宽度的动态控制。
• 对于分类任务，通过按类别概率排序并累加评分，直至累计得分超过 $1 - \varphi(\theta_t)$ 来构建预测集。
• 该框架即使在对抗性分布变化下，也能保证收敛至目标风险水平，如定理1所示。

实验结果

研究问题

• RQ1 我们能否在在线学习中构建具有可证明控制能力的预测集，以控制任意风险度量（如覆盖率不足率或假阴性率）？
• RQ2 在在线设置中，是否可能在任意、可能具有对抗性的数据分布变化下维持风险控制？
• RQ3 该方法能否以极低的实现与计算开销，应用于任意在线学习算法？
• RQ4 如何在在线预测中同时控制多种风险度量（如覆盖率与F1）？
• RQ5 该框架能否处理复杂结构化输出（如图像级深度图），而传统序列校准方法在此类场景中会失效？

主要发现

• 滚动RC框架在任意数据分布变化（甚至对抗性变化）下，均能保证在用户指定水平 $r$ 下的风险控制，如定理1所形式化。
• 该方法在无需对数据分布做任何假设的前提下，实现有效的风险控制，且仅需对任意基础在线学习模型进行极小修改。
• 在真实世界表格型时间序列数据上的实验表明，滚动RC在不同数据分布下均严格控制了覆盖率、覆盖率不足率与假阴性率。
• 该框架成功构建了在线图像深度估计任务的有效预测区间，而此前的序列校准方法在该场景中已失效。
• 该方法在一周内不同日期均保持了较低的 $\Delta$-覆盖率（条件覆盖率的代理指标），表明其对时间子群体分布偏移具有鲁棒性。
• 使用覆盖率损失的有界版本 ($\texttt{MC}' = \min\{\texttt{MC}, B\}$) 可确保收敛，尽管无界版本在实践中表现良好。