[论文解读] Maximum Likelihood Uncertainty Estimation: Robustness to Outliers

Deebul S. Nair, Nico Hochgeschwender+1 more|arXiv (Cornell University)|Feb 3, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出在最大似然不确定性估计中使用拉普拉斯分布，以提升回归任务中对标签异常值的鲁棒性。通过将标准高斯损失替换为重尾的拉普拉斯损失，该方法在训练过程中降低了异常值的影响，从而实现更准确且校准良好的不确定性估计，提升分布外检测能力，并改善对抗攻击检测效果——尤其在单目深度估计等高维任务中表现显著。

ABSTRACT

We benchmark the robustness of maximum likelihood based uncertainty estimation methods to outliers in training data for regression tasks. Outliers or noisy labels in training data results in degraded performances as well as incorrect estimation of uncertainty. We propose the use of a heavy-tailed distribution (Laplace distribution) to improve the robustness to outliers. This property is evaluated using standard regression benchmarks and on a high-dimensional regression task of monocular depth estimation, both containing outliers. In particular, heavy-tailed distribution based maximum likelihood provides better uncertainty estimates, better separation in uncertainty for out-of-distribution data, as well as better detection of adversarial attacks in the presence of outliers.

研究动机与目标

• 解决在训练数据包含噪声标签或异常值时，深度回归中不确定性估计不准确的问题。
• 提升单模型不确定性估计方法的鲁棒性，此类方法因推理成本低而更适用于实时自主系统。
• 在真实数据污染环境下评估不确定性估计的性能，特别是单目深度估计等高维回归任务中的表现。
• 基准测试重尾分布（特别是拉普拉斯分布）作为缓解异常值对不确定性校准产生负面影响的解决方案的有效性。
• 证明基于拉普拉斯的极大似然损失可实现比高斯分布和证据神经网络基线方法更优的分布外样本与对抗输入检测能力。

提出的方法

• 通过拉普拉斯分布的负对数似然构建最大似然损失函数，以建模预测不确定性。
• 利用拉普拉斯分布的重尾特性，在训练过程中降低异常值的影响，因其对大误差赋予更低损失，相比高斯分布更具鲁棒性。
• 使用拉普拉斯损失训练单一深度神经网络，通过一次前向传播同时预测输出分布的均值和尺度（标准差）。
• 在标准回归基准数据集和NYU-Depth-v2数据集上，将基于拉普拉斯的方法与高斯分布和证据神经网络（Evidential Deep Learning）基线方法进行对比。
• 使用可靠性图、基于熵的不确定性度量以及统计检验方法评估不确定性校准效果，比较分布内与分布外预测之间的分离程度。
• 通过施加FGSM扰动并测量扰动强度（ε）增加时不确定性（熵）的上升情况，评估对对抗攻击的鲁棒性。

实验结果

研究问题

• RQ1 当训练数据包含异常值时，基于高斯分布的最大似然损失的不确定性估计鲁棒性如何退化？
• RQ2 在标签噪声存在的情况下，重尾分布（如拉普拉斯分布）是否能提升深度回归模型中不确定性估计的鲁棒性？
• RQ3 基于拉普拉斯的损失函数是否能在不确定性得分上实现分布内与分布外预测之间更优的分离？
• RQ4 在不同扰动水平下，基于拉普拉斯的不确定性估计在检测对抗样本方面的有效性如何？
• RQ5 在存在异常值的情况下，该方法是否能在多次独立训练试验中保持校准良好的不确定性估计？

主要发现

• 与高斯分布和证据神经网络方法相比，基于拉普拉斯的损失函数在高异常值率下显著提升了不确定性校准效果，可靠性图与基于熵的评估结果均表明其优势。
• 在包含10%异常值的NYU-Depth-v2数据集上，拉普拉斯方法保持了良好的不确定性校准，而高斯方法则出现严重校准偏差。
• 拉普拉斯方法在所有测试方法中实现了最高的分离点（breakaway point），表明其在训练过程中对异常值污染具有更强的鲁棒性。
• 基于拉普拉斯的模型在分布内（ApolloScape）与分布外数据的不确定性熵之间表现出统计上显著的分离，支持可靠的分布外检测。
• 随着FGSM对抗扰动强度（ε）的增加，拉普拉斯方法的熵单调上升，表明其相比其他方法能更有效地检测对抗输入。
• 在多次独立试验中，拉普拉斯方法始终产生最可靠且波动最小的不确定性估计，在鲁棒性与校准性方面均优于高斯和证据神经网络基线方法。