[论文解读] Improving Uncertainty Estimates through the Relationship with Adversarial Robustness.

Yao Qin, Xuezhi Wang+2 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 6

一句话总结

本文提出 AR-AdaLS 方法，通过在训练过程中基于对抗鲁棒性自适应地软化标签，提升了模型校准性和不确定性稳定性。该方法聚焦于易受对抗攻击影响的输入——这些输入往往具有较差的不确定性估计——从而在分布偏移情况下仍能增强校准性和鲁棒性，且在集成模型设置中表现更优。

ABSTRACT

Robustness issues arise in a variety of forms and are studied through multiple lenses in the machine learning literature. Neural networks lack adversarial robustness -- they are vulnerable to adversarial examples that through small perturbations to inputs cause incorrect predictions. Further, trust is undermined when models give miscalibrated or unstable uncertainty estimates, i.e. the predicted probability is not a good indicator of how much we should trust our model and could vary greatly over multiple independent runs. In this paper, we study the connection between adversarial robustness, predictive uncertainty (calibration) and model uncertainty (stability) on multiple classification networks and datasets. We find that the inputs for which the model is sensitive to small perturbations (are easily attacked) are more likely to have poorly calibrated and unstable predictions. Based on this insight, we examine if calibration and stability can be improved by addressing those adversarially unrobust inputs. To this end, we propose Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) that integrates the correlations of adversarial robustness and uncertainty into training by adaptively softening labels conditioned on how easily it can be attacked by adversarial examples. We find that our method, taking the adversarial robustness of the in-distribution data into consideration, leads to better calibration and stability over the model even under distributional shifts. In addition, AR-AdaLS can also be applied to an ensemble model to achieve the best calibration performance.

研究动机与目标

• 探究深度神经网络中对抗鲁棒性、预测不确定性校准与模型不确定性稳定性之间的关系。
• 解决模型在对小扰动敏感的输入上常产生校准不足且不稳定的不确定性估计的问题。
• 通过针对并重新训练易受对抗攻击影响的输入来改进不确定性估计。
• 开发一种将对抗鲁棒性整合到不确定性校准中的训练方法，通过自适应标签平滑实现。
• 评估该方法在分布偏移和集成模型中的有效性。

提出的方法

• 该方法提出基于对抗鲁棒性的自适应标签平滑（AR-AdaLS），根据模型对对抗样本的脆弱性动态调整标签平滑程度。
• 对于每个输入，模型计算一个对抗鲁棒性得分，以衡量其受小扰动攻击的难易程度。
• 鲁棒性较低（即易被攻击）的输入会获得更高的标签平滑，从而降低过度自信，改善不确定性校准。
• 标签平滑在训练过程中作为正则化项应用，以在脆弱输入上鼓励更优的不确定性估计。
• 该方法兼容单模型与集成模型，可在多种设置下提升性能。
• 该方法利用对抗脆弱性与不良不确定性之间的相关性，在无需推理阶段校准的情况下提升可靠性。

实验结果

研究问题

• RQ1 在深度神经网络中，对抗鲁棒性、预测不确定性校准与模型不确定性稳定性之间存在何种关系？
• RQ2 在分布内数据上提升对抗鲁棒性是否能带来更好的不确定性估计？
• RQ3 基于对抗脆弱性的自适应标签平滑是否能在分布偏移下改善校准性和稳定性？
• RQ4 AR-AdaLS 是否可有效应用于集成模型以进一步提升不确定性校准？
• RQ5 该方法是否在不牺牲准确率或鲁棒性的情况下提升不确定性可靠性？

主要发现

• 易受对抗攻击影响的输入更可能具有校准不足且不稳定的不确定性估计。
• 所提出的 AR-AdaLS 方法通过在训练过程中聚焦于对抗不鲁棒的输入，同时改善了校准性和不确定性稳定性。
• 即使测试数据分布偏离训练分布，AR-AdaLS 仍能实现更好的不确定性校准。
• 通过将对抗鲁棒性整合到标签平滑中，该方法在集成模型中实现了最先进的校准性能。
• 自适应标签平滑机制有效降低了脆弱输入上的过度自信，提升了可靠性，且未损害鲁棒性。
• 对抗脆弱性与不良不确定性之间的相关性使得 AR-AdaLS 成为一种合理的不确定性改进方法。