[论文解读] Deep Evidential Learning for Bayesian Quantile Regression

Frederik Boe Hüttel, Filipe Rodrigues+1 more|arXiv (Cornell University)|Aug 21, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种基于证据学习的深度贝叶斯分位数回归模型，通过一次前向传播即可估计似然不确定性和认知不确定性，且无需假设噪声服从高斯分布。该方法通过直接预测分位数，实现了灵活的非高斯不确定性建模，获得了校准的不确定性估计，并对分布外数据表现出鲁棒性。

ABSTRACT

It is desirable to have accurate uncertainty estimation from a single deterministic forward-pass model, as traditional methods for uncertainty quantification are computationally expensive. However, this is difficult because single forward-pass models do not sample weights during inference and often make assumptions about the target distribution, such as assuming it is Gaussian. This can be restrictive in regression tasks, where the mean and standard deviation are inadequate to model the target distribution accurately. This paper proposes a deep Bayesian quantile regression model that can estimate the quantiles of a continuous target distribution without the Gaussian assumption. The proposed method is based on evidential learning, which allows the model to capture aleatoric and epistemic uncertainty with a single deterministic forward-pass model. This makes the method efficient and scalable to large models and datasets. We demonstrate that the proposed method achieves calibrated uncertainties on non-Gaussian distributions, disentanglement of aleatoric and epistemic uncertainty, and robustness to out-of-distribution samples.

研究动机与目标

• 解决现有证据回归模型假设高斯似然不确定性的局限，该假设限制了其对复杂非高斯噪声分布的建模能力。
• 在目标分布的均值和方差不足以描述分布特性的回归任务中，实现准确的不确定性量化。
• 开发一种方法，在无需采样或多次前向传播的情况下，分离似然不确定性和认知不确定性。
• 通过避免计算成本高昂的推理技术（如蒙特卡洛丢弃或深度集成），确保在大规模模型和数据集上的可扩展性与高效性。
• 在真实世界和合成的非高斯数据上，展示对分布外样本的鲁棒性以及校准性能。

提出的方法

• 基于非对称拉普拉斯分布构建似然函数，用于在贝叶斯分位数回归中建模分位数。
• 通过在似然函数参数上施加狄利克雷先验，应用证据学习，使网络能够输出分位数参数的证据。
• 训练深度神经网络以预测证据分布的参数（即分位数的证据），从而通过闭式表达式实现不确定性估计。
• 使用适当的评分规则（如分位数损失）作为训练目标，以确保分位数预测具有良好的校准性。
• 在单次前向传播中，通过分位数预测分离似然不确定性，通过证据强度分离认知不确定性。
• 利用证据框架将认知不确定性估计为证据集中度的函数，避免使用采样或集成方法。

实验结果

研究问题

• RQ1 证据学习能否扩展至通过预测分位数而非均值和方差来建模回归中的非高斯似然不确定性？
• RQ2 所提出的方法是否能在无需推理阶段采样的情况下，对非高斯噪声分布实现良好校准的不确定性估计？
• RQ3 该模型是否能在单次前向传播中有效分离似然不确定性和认知不确定性，即使在分布偏移条件下亦然？
• RQ4 在真实世界回归任务中，与最先进贝叶斯神经网络方法相比，该模型在性能和效率方面表现如何？
• RQ5 证据分位数回归在多大程度上能通过不确定性估计检测分布外样本？

主要发现

• 所提模型在非高斯分布（如指数分布和非对称噪声）上实现了良好校准的预测区间，优于基于均值-方差的证据模型。
• 该方法成功实现了似然不确定性和认知不确定性的解耦，认知不确定性在分布边界和分布外区域附近显著增加。
• 模型对分布外样本表现出鲁棒性，其认知不确定性在这些输入上能可靠地增加。
• 该方法在大规模计算机视觉任务中表现出高效可扩展性，如在Apolloscape数据集上的实验表明，证据不确定性能够捕捉物体边界。
• 尽管在预测准确性上未超越基线模型，但得益于单次前向推理，该方法实现了显著更低的推理成本，性能具有竞争力。
• 与基于高斯分布的证据回归相比，该模型的不确定性估计更具灵活性，无需分布假设即可建模非对称和重尾分布。