[论文解读] Estimating Uncertainty Online Against an Adversary
该论文提出了一种新颖的在线再校准方法，即使在对抗性或分布外数据下，也能为分类模型生成校准良好、可靠的概率估计，该方法基于在线校准技术构建元算法。它在保持与基线预测器几乎相同的准确率的同时，实现了强校准性，且收敛速率的额外开销为 O(1/√ε)。
Assessing uncertainty is an important step towards ensuring the safety and reliability of machine learning systems. Existing uncertainty estimation techniques may fail when their modeling assumptions are not met, e.g. when the data distribution differs from the one seen at training time. Here, we propose techniques that assess a classification algorithm's uncertainty via calibrated probabilities (i.e. probabilities that match empirical outcome frequencies in the long run) and which are guaranteed to be reliable (i.e. accurate and calibrated) on out-of-distribution input, including input generated by an adversary. This represents an extension of classical online learning that handles uncertainty in addition to guaranteeing accuracy under adversarial assumptions. We establish formal guarantees for our methods, and we validate them on two real-world problems: question answering and medical diagnosis from genomic data.
研究动机与目标
- 解决现有不确定性估计方法在数据分布发生偏移或存在对抗性输入时失效的问题。
- 开发一种方法，在对抗性假设下（无需独立同分布假设）生成与实际结果频率一致的校准概率。
- 在在线、顺序学习设置中，保持高预测准确率的同时确保校准性。
- 刻画在在线和批量设置中均支持再校准的损失函数。
提出的方法
- 该方法使用一个元算法，将经典在线校准视为黑箱子程序，用于对任意基线分类器的预测结果进行再校准。
- 通过随时间维护结果的经验频率来估计校准概率，以在线方式适应每个新数据点。
- 该算法通过在专家建议学习框架中最小化遗憾，利用内部和外部遗憾度量，确保强校准性。
- 其运行无需预先知晓数据模式或核函数，从而可对任意未经校准的预测器实现黑箱再校准。
- 该方法基于在线优化和 Blackwell 可及性理论，确保在对抗性条件下收敛至校准预测。
- 该方法被证明相较于基线预测器，收敛速率的额外开销为 O(1/√ε)，其中 ε 为期望的精度水平。
实验结果
研究问题
- RQ1我们能否设计一种不确定性估计方法，在对抗性或分布外数据下仍保持校准性，且不依赖独立同分布假设？
- RQ2在在线设置中，校准准确率与预测准确率之间的理论权衡是什么？
- RQ3哪些损失函数支持在在线和批量设置中均实现再校准？
- RQ4如何将在线校准的鲁棒性与协变量的预测能力及精确预测相结合？
主要发现
- 所提出的在线再校准算法在问答和基因组诊断任务中，整个学习过程中校准误差始终低于基线方法。
- 在使用 3,443 个基因组样本的医学诊断任务中，再校准后的概率在整个范围内近乎完美校准，而原始 SVM 分数在 [0.4, 0.6] 之外则严重失准。
- 该算法在所有时间步的 ℓ₂ 损失均保持在基线预测器的 0.01 以内，表明性能退化极小。
- 理论分析表明，与基线预测器相比，收敛至校准概率的速率为 O(1/√ε)，其中 ε 为期望的精度水平。
- 该方法在对抗性输入下仍可被严格证明为校准的，而标准再校准技术在分布偏移下会失效。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。