[论文解读] Graceful Degradation and Related Fields

Jack Dymond|arXiv (Cornell University)|Jun 21, 2021

Adversarial Robustness in Machine Learning参考文献 143被引用 4

一句话总结

本文形式化了机器学习中渐进退化的问题，提出了一种分类法，将方法分为被动（自包含的不确定性估计）和主动（基于知识库更新）两类。它强调了不确定性感知建模，以减少分布外预测中的过度自信，主张将不确定性度量整合到零样本学习、域适应和主动学习中，以实现在关键系统中的更安全部署。

ABSTRACT

When machine learning models encounter data which is out of the distribution on which they were trained they have a tendency to behave poorly, most prominently over-confidence in erroneous predictions. Such behaviours will have disastrous effects on real-world machine learning systems. In this field graceful degradation refers to the optimisation of model performance as it encounters this out-of-distribution data. This work presents a definition and discussion of graceful degradation and where it can be applied in deployed visual systems. Following this a survey of relevant areas is undertaken, novelly splitting the graceful degradation problem into active and passive approaches. In passive approaches, graceful degradation is handled and achieved by the model in a self-contained manner, in active approaches the model is updated upon encountering epistemic uncertainties. This work communicates the importance of the problem and aims to prompt the development of machine learning strategies that are aware of graceful degradation.

研究动机与目标

• 形式化机器学习中渐进退化的概念，特别是在视觉系统中，即在遇到分布外数据时最小化性能下降。
• 解决模型在错误预测中过度自信的关键问题，这在安全关键应用中构成风险。
• 提出一种新颖的分类法，将被动方法（自包含的不确定性处理）与主动方法（通过不确定性查询进行模型更新）区分开来。
• 强调不确定性估计在实现渐进退化中的核心作用，并倡导将其整合到关键机器学习领域中。
• 激发对零样本学习、域适应、元学习和主动学习中不确定性感知策略的研究，以提升现实世界中的鲁棒性。

提出的方法

• 提出将渐进退化正式定义为在处理分布外数据时最小化性能下降。
• 引入一种新颖的分类法，将渐进退化分为被动（模型内部不确定性处理）和主动（基于知识库更新）两类方法。
• 回顾被动方法，包括基于数据/训练的、基于模型的以及事后不确定性估计，用于处理认知不确定性。
• 考察零样本学习和层次分类作为被动策略，以提升对未见类别的泛化能力。
• 分析主动方法，如主动学习和持续学习、域适应以及元学习，用于实现基于不确定性的模型更新。
• 建议将不确定性感知技术——尤其是校准后的置信度分数——整合到现有方法（如GZSL和域适应）中，以减少过度自信。

实验结果

研究问题

• RQ1 如何设计机器学习模型，使其在遇到分布外数据时以受控且可预测的方式逐步降低性能？
• RQ2 被动与主动渐进退化方法之间的关键区别是什么？在哪些场景下它们最为有效？
• RQ3 如何准确且可靠地将不确定性估计整合到深度学习模型中，以防止在错误预测中产生过度自信？
• RQ4 现有方法（如零样本学习或域适应）在多大程度上内在支持渐进退化？它们在哪些方面存在不足？
• RQ5 主动学习，特别是基于流的采样，能在多大程度上实现对已部署系统的实时、基于不确定性的模型优化？

主要发现

• 最先进深度学习模型在分布外数据上常产生过度自信的预测，导致在安全关键系统中出现灾难性故障。
• 被动方法如事后不确定性估计和层次贝叶斯推断可在无需外部反馈的情况下改善模型置信度校准。
• 零样本学习和域适应方法通常更注重准确性而非置信度校准，导致不确定性感知能力差。
• 主动学习，尤其是基于流的采样，为实时模型优化提供了有前景的路径，但在渐进退化语境下仍研究不足。
• 零样本学习与域适应之间存在显著的交叉促进潜力，特别是在两者均可访问未标记分布外数据的归纳设置中。
• 将不确定性感知技术——尤其是校准后的置信度分数——整合到现有机器学习范式中，是实现安全可部署系统的关键。