[论文解读] Deep Evidential Regression

Alexander Amini, Wilko Schwarting+2 more|arXiv (Cornell University)|Oct 7, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用 11

一句话总结

本文提出深度证据回归（Deep Evidential Regression），一种用于训练确定性神经网络以估计回归任务中随机性不确定性（aleatoric）与认知性不确定性（epistemic）的方法，无需采样或分布外（OOD）数据。通过将预测分布建模为高斯似然上的证据分布，并利用一种新型正则化器学习其超参数，该方法实现了校准良好的不确定性估计，对分布外和对抗性输入具有鲁棒性，并可扩展至复杂视觉任务。

ABSTRACT

Deterministic neural networks (NNs) are increasingly being deployed in safety critical domains, where calibrated, robust, and efficient measures of uncertainty are crucial. In this paper, we propose a novel method for training non-Bayesian NNs to estimate a continuous target as well as its associated evidence in order to learn both aleatoric and epistemic uncertainty. We accomplish this by placing evidential priors over the original Gaussian likelihood function and training the NN to infer the hyperparameters of the evidential distribution. We additionally impose priors during training such that the model is regularized when its predicted evidence is not aligned with the correct output. Our method does not rely on sampling during inference or on out-of-distribution (OOD) examples for training, thus enabling efficient and scalable uncertainty learning. We demonstrate learning well-calibrated measures of uncertainty on various benchmarks, scaling to complex computer vision tasks, as well as robustness to adversarial and OOD test samples.

研究动机与目标

• 为解决确定性回归神经网络中缺乏校准良好的不确定性估计问题，特别是在安全关键应用中。
• 实现在推理过程中无需采样即可同时估计随机性与认知性不确定性。
• 开发一种正则化器，可在无分布外训练数据的情况下，对错误和分布外样本上的错误证据进行惩罚。
• 在复杂视觉基准和对抗性输入上实现鲁棒且校准良好的不确定性。
• 为连续回归提供一种可扩展、高效的贝叶斯神经网络及现有证据方法的替代方案。

提出的方法

• 该方法将预测分布建模为高斯似然参数（μ, σ²）上的高阶证据分布。
• 训练神经网络以预测该证据分布的超参数，表示对似然参数的累积证据。
• 引入一种新型证据正则化器，当预测证据与真实目标不一致时（尤其是在错误和分布外输入上）对模型进行惩罚。
• 该正则化器基于散度惩罚推导，可促使预测证据与正确输出对齐，而无需固定先验或分布外数据。
• 通过直接回归证据超参数避免采样，实现单次前向传播的快速推理。
• 使用结合回归误差与证据正则化器的损失函数，端到端训练模型，以平衡准确率与不确定性校准。

实验结果

研究问题

• RQ1 确定性神经网络是否能在推理过程中无需采样的情况下，学习到校准良好的认知性与随机性不确定性？
• RQ2 证据深度学习能否有效扩展至连续回归任务，而无需依赖分布外训练数据？
• RQ3 当不存在明确定义的先验距离时，如何设计一种正则化器，以惩罚错误和分布外输入上的错误证据？
• RQ4 与最先进基线方法相比，所提方法是否在分布外和对抗性输入上实现了更好的不确定性校准与鲁棒性？
• RQ5 该方法是否能扩展至复杂计算机视觉回归任务，同时保持不确定性校准？

主要发现

• 所提方法在多个回归基准（包括复杂视觉任务）上实现了无需采样或分布外数据的校准良好不确定性估计。
• 该模型对分布外和对抗性扰动的测试输入表现出鲁棒性，能正确提高此类样本的不确定性。
• 证据正则化器成功惩罚了错误和分布外输入上的错误证据，提升了不确定性校准，且无需依赖固定先验或分布外样本。
• 该方法在大规模视觉回归任务中高效扩展，同时保持了不确定性校准与预测准确性。
• 在校准性和鲁棒性方面，该方法优于最先进不确定性估计技术，尤其在分布外和对抗性输入上表现更优。
• 该方法实现了快速、单次通过的不确定性估计，适用于实时安全关键应用。