[论文解读] A Holistic Assessment of the Reliability of Machine Learning Systems

Anthony Corso, David Karamadian+3 more|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出一个整体性框架，通过评估五个关键属性——分布内准确率、分布偏移鲁棒性、对抗鲁棒性、校准性以及分布外检测——来评估机器学习系统的可靠性。基于这些指标的综合可靠性得分，该研究评估了500多个模型，发现某些算法技术可同时提升多个维度的可靠性。

ABSTRACT

As machine learning (ML) systems increasingly permeate high-stakes settings such as healthcare, transportation, military, and national security, concerns regarding their reliability have emerged. Despite notable progress, the performance of these systems can significantly diminish due to adversarial attacks or environmental changes, leading to overconfident predictions, failures to detect input faults, and an inability to generalize in unexpected scenarios. This paper proposes a holistic assessment methodology for the reliability of ML systems. Our framework evaluates five key properties: in-distribution accuracy, distribution-shift robustness, adversarial robustness, calibration, and out-of-distribution detection. A reliability score is also introduced and used to assess the overall system reliability. To provide insights into the performance of different algorithmic approaches, we identify and categorize state-of-the-art techniques, then evaluate a selection on real-world tasks using our proposed reliability metrics and reliability score. Our analysis of over 500 models reveals that designing for one metric does not necessarily constrain others but certain algorithmic techniques can improve reliability across multiple metrics simultaneously. This study contributes to a more comprehensive understanding of ML reliability and provides a roadmap for future research and development.

研究动机与目标

• 为医疗、国防和交通等高风险领域中日益增长的机器学习系统可靠性担忧提供解决方案。
• 识别出常被孤立评估但必须综合考虑才能实现安全部署的关键可靠性属性。
• 开发一种统一的、定量的可靠性评分，将多个可靠性指标整合为单一的整体评估。
• 利用该新框架在真实世界任务中评估最先进（SOTA）的机器学习技术，以理解其中的权衡与协同效应。
• 通过识别在多个维度上同时提升可靠性的算法方法，为未来的研究与开发提供路线图。

提出的方法

• 定义五个核心可靠性属性：分布内准确率、分布偏移鲁棒性、对抗鲁棒性、校准性以及分布外（OOD）检测。
• 为每个属性分配定量指标：例如，分布内和分布偏移下的准确率，FGSM/PGD攻击下的鲁棒性用于对抗鲁棒性，ECE用于校准性，AUC-PR用于分布外检测。
• 使用标准评估协议，为每个五项指标计算归一化属性得分（0–1）。
• 通过平均五个归一化属性得分，推导出整体可靠性（HR）得分。
• 调查并按机器学习设计阶段对最先进（SOTA）技术进行分类：数据、表征、目标、架构、选择、校准和监控。
• 使用所提出的指标和HR得分，在三个真实世界任务上训练并评估代表性模型集合，以比较不同方法的性能。

Figure 2 : Performance of WILDS pre-trained models under various distribution shifts vs. in-distribution performance. The validation distribution shift and the test distribution shift come from the WILDS benchmark while C1 measures the performance drop from synthetic corruptions [ 209 ] of strength

实验结果

研究问题

• RQ1 当从整体角度评估时，不同机器学习技术在多个可靠性属性上的表现如何？
• RQ2 在某一可靠性指标（如对抗鲁棒性）上的改进，在多大程度上与其它指标（如校准性或分布外检测）的改进相关？
• RQ3 哪些算法方法能在多个可靠性维度上实现一致的改进，而非产生权衡？
• RQ4 单一的综合可靠性得分是否能有效对不同部署场景下的模型整体可靠性进行排序？
• RQ5 在单独优化某一可靠性指标时，性能权衡与协同效应是什么？

主要发现

• 针对某一可靠性指标的设计，并不必然限制其他指标的表现，表明并非所有技术都存在普遍的权衡关系。
• 某些算法方法——如数据增强、自监督预训练和集成方法——能同时提升多个维度的可靠性。
• 对抗鲁棒性提升的模型通常也表现出更好的分布外检测和校准性，暗示存在共享的底层机制。
• 整体可靠性（HR）得分能有效捕捉系统级可靠性，并实现对多样化模型与架构的有意义比较。
• 事后校准和领域自适应技术分别显著提升了校准性和分布偏移鲁棒性，且未降低其他指标的表现。
• 研究发现，没有单一的模型架构或训练方法在所有五个可靠性属性上均占绝对优势，凸显了多维度评估的必要性。

Figure 3 : Comparing distribution-shift accuracy between various distribution shifts.