[论文解读] Conformal Risk Control

Anastasios N. Angelopoulos, Stephen Bates+3 more|arXiv (Cornell University)|Aug 4, 2022

Statistical Methods in Clinical Trials被引用 25

一句话总结

将符合预测扩展以保证任何单调损失的期望风险，并给出若干分布偏移和扩展变体，以及实际的 NLP/CV 示例。

ABSTRACT

We extend conformal prediction to control the expected value of any monotone loss function. The algorithm generalizes split conformal prediction together with its coverage guarantee. Like conformal prediction, the conformal risk control procedure is tight up to an $\mathcal{O}(1/n)$ factor. We also introduce extensions of the idea to distribution shift, quantile risk control, multiple and adversarial risk control, and expectations of U-statistics. Worked examples from computer vision and natural language processing demonstrate the usage of our algorithm to bound the false negative rate, graph distance, and token-level F1-score.

研究动机与目标

• 通过对模型后处理输出提供统计保证来促进安全部署。
• 将符合预测推广为对单调损失的期望值进行上界，而不仅仅是误覆盖。
• 开发一个具有有限样本保证的实用、紧凑的风险控制算法。
• 探索对分布偏移、分位数风险、多重风险、对抗风险和 U-统计量的扩展。

提出的方法

• 通过一组参数化的保守输出 C_lambda 对模型预测进行后处理，且存在一个非增的损失 L_i(lambda)。
• 将经验风险 R_hat_n(lambda) 定义为校准数据上 L_i(lambda) 的平均值，并选择 lambda_hat 以满足风险约束-下确界条件 (n/(n+1))R_hat_n(lambda)+(B/(n+1)) <= alpha。
• 证明在单调、右连续且取值有界的损失下，所选的 lambda_hat 能使期望风险 E[L_{n+1}(lambda_hat)] <= alpha。
• 在温和假设下，证明风险界限的紧性可达到 2B/(n+1)，并讨论单调性要求。
• 当损失为误覆盖时，将 conformal risk control 与标准符合预测联系起来，并讨论非单调损失的局限性。
• 提供对分布偏移、分位数风险、多风险控制、对抗风险和 U-风险控制的扩展。

实验结果

研究问题

• RQ1 如何将符合预测推广为对超出误覆盖的单调损失的期望风险进行保证？
• RQ2 风险保证的紧性在何种条件下成立或失效？
• RQ3 如何将方法扩展以处理分布偏移、分位数风险、多重风险以及对抗情境？
• RQ4 在实际中， conformal risk control 如何与经典的符合预测相关并有何不同？
• RQ5 在 CV/NLP 的实际任务中是否能展示对非二元损失的有效风险控制？

主要发现

• 所提出的 conformal risk control 保证对于任何有界单调损失，在新点上的期望损失最多为 alpha。
• 风险控制界限在一个 O(1/n) 因子内是紧的，并给出推导出的下界，显示改进的极限。
• 当损失为误覆盖指示时，该框架可包含标准的 conformal prediction。
• 扩展使得在分布偏移、分位数风险、多重风险、对抗扰动和 U 统计量下实现风险控制成为可能。
• 在肿瘤分割、多标签分类、分层图像分类和开域问答中的实证示例展示了对假阴性率、图距离和逐词令牌级 F1 分数的控制。