[论文解读] Ensembles for Uncertainty Estimation: Benefits of Prior Functions and Bootstrapping

Vikranth Dwaracherla, Wen Zheng+4 more|arXiv (Cornell University)|Jun 8, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文研究了先验函数和自举法在基于集成的不确定性估计用于决策中的作用。结果表明，先验函数显著提升了联合预测不确定性，而当输入间的信噪比变化时，自举法能提供额外增益，该结论通过理论分析和在回归、分类及老虎机问题上的实验得到验证。

ABSTRACT

In machine learning, an agent needs to estimate uncertainty to efficiently explore and adapt and to make effective decisions. A common approach to uncertainty estimation maintains an ensemble of models. In recent years, several approaches have been proposed for training ensembles, and conflicting views prevail with regards to the importance of various ingredients of these approaches. In this paper, we aim to address the benefits of two ingredients -- prior functions and bootstrapping -- which have come into question. We show that prior functions can significantly improve an ensemble agent's joint predictions across inputs and that bootstrapping affords additional benefits if the signal-to-noise ratio varies across inputs. Our claims are justified by both theoretical and experimental results.

研究动机与目标

• 解决文献中关于先验函数和自举法在训练集成智能体进行不确定性估计时重要性的相互矛盾的主张。
• 基于边际和联合预测性能评估集成智能体，强调联合预测对有效决策的重要性。
• 确定自举法在何种条件下能提供超越先验函数的可测量收益。
• 为集成训练中不确定性感知智能体的设计选择提供理论和实证依据。

提出的方法

• 通过损失函数扰动构建统一框架来形式化集成智能体，将先验函数和自举法作为独立的训练机制纳入其中。
• 通过贝叶斯线性回归的理论分析，证明先验函数如何增强联合预测并降低模型集成中的不确定性。
• 在来自 Neural Testbed 的合成数据和 CIFAR-10 上使用神经网络，通过 NLL、Brier 评分和 ECE 等指标评估边际和联合不确定性校准。
• 在异方差线性老虎机环境中应用 Thompson 采样，以累积遗憾作为关键指标评估决策性能。
• 调整集成智能体的超参数（如先验方差、自举采样）以最小化遗憾并优化不确定性估计。
• 使用算法和分析工具推导无限集成设置下的后验近似，从而实现对不同集成变体的理论比较。

实验结果

研究问题

• RQ1 先验函数如何影响集成模型中联合预测分布的质量？
• RQ2 在何种条件下，自举法在集成训练中能提供超越先验函数的额外收益？
• RQ3 输入空间中信噪比（SNR）的变化是否调节了自举法在集成不确定性估计中的有效性？
• RQ4 由先验函数和自举法驱动的联合预测质量，是否能提升序列任务中的决策性能？
• RQ5 在真实世界和合成数据集上，具有和不具有先验函数或自举法的集成智能体在边际和联合不确定性校准方面如何比较？

主要发现

• 先验函数显著改善了集成智能体的联合预测分布，这对决策中的高效探索与适应至关重要。
• 当信噪比（SNR）在输入空间中均匀分布时，若先验函数调优得当，自举法不会带来额外收益。
• 当 SNR 在输入间显著变化时，无论先验函数是否调优，自举法均能提供可测量的性能增益。
• 在异方差线性老虎机问题中，同时具备先验函数和自举法的集成智能体（ensemble-BP）相比无此机制的智能体，累积遗憾显著更低。
• 不包含先验函数的集成智能体（ensemble-N）表现明显劣于 ensemble-P 和 ensemble-BP，凸显了先验函数的必要性。
• 在 CIFAR-10 和合成数据上的实证结果确认，联合不确定性校准比仅依赖边际指标更能预测决策性能。