[论文解读] A.I. Robustness: a Human-Centered Perspective on Technological Challenges and Opportunities

Andrea Tocchetti, Lorenzo Corti+5 more|arXiv (Cornell University)|Oct 17, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种以人为中心的框架，通过统一人工智能各领域中零散的术语，以理解人工智能的鲁棒性。该框架引入了三个分类体系——按机器学习流程阶段划分的鲁棒性、按模型/任务特定的鲁棒性，以及评估方法论——强调了人类在评估和提升鲁棒性过程中的参与，同时指出了当前研究的关键空白和可信人工智能系统未来的发展方向。

ABSTRACT

Despite the impressive performance of Artificial Intelligence (AI) systems, their robustness remains elusive and constitutes a key issue that impedes large-scale adoption. Robustness has been studied in many domains of AI, yet with different interpretations across domains and contexts. In this work, we systematically survey the recent progress to provide a reconciled terminology of concepts around AI robustness. We introduce three taxonomies to organize and describe the literature both from a fundamental and applied point of view: 1) robustness by methods and approaches in different phases of the machine learning pipeline; 2) robustness for specific model architectures, tasks, and systems; and in addition, 3) robustness assessment methodologies and insights, particularly the trade-offs with other trustworthiness properties. Finally, we identify and discuss research gaps and opportunities and give an outlook on the field. We highlight the central role of humans in evaluating and enhancing AI robustness, considering the necessary knowledge humans can provide, and discuss the need for better understanding practices and developing supportive tools in the future.

研究动机与目标

• 弥合不同领域和应用场景中人工智能鲁棒性术语和解释不一致的问题。
• 识别并系统化人工智能鲁棒性中的关键挑战，这些挑战阻碍了人工智能系统的规模化部署。
• 强调人类专业知识在评估和提升人工智能鲁棒性方面的作用，超越自动化指标的局限。
• 映射从机器学习生命周期到特定模型架构的现有鲁棒性方法论。
• 突出人工智能鲁棒性与其他可信属性（如公平性、可解释性和效率）之间的权衡。

提出的方法

• 对人工智能鲁棒性在多样化领域、模型架构和应用背景下的近期文献进行系统性综述。
• 开发三个相互关联的分类体系：(1) 按机器学习流程阶段划分的鲁棒性（数据、训练、推理），(2) 按模型架构和任务划分的鲁棒性，(3) 鲁棒性评估方法论。
• 分析鲁棒性与其他人工智能可信属性（包括公平性、可解释性和效率）之间的权衡。
• 通过案例研究和专家见解，融入人机协同视角，以评估鲁棒性。
• 识别当前鲁棒性评估实践中的不足，强调对具备人类意识的工具和框架的需求。
• 将研究发现整合为一个统一的概念框架，以指导未来可信人工智能的研究与开发。

实验结果

研究问题

• RQ1 如何弥合不同领域中人工智能鲁棒性术语和解释不一致的问题？
• RQ2 机器学习流程不同阶段的关键鲁棒性挑战是什么？
• RQ3 鲁棒性在不同模型架构和人工智能任务中如何变化？
• RQ4 人工智能系统中鲁棒性与其他可信属性之间的权衡是什么？
• RQ5 人类专业知识在哪些方面能够提升人工智能鲁棒性的评估与增强？

主要发现

• 本文识别出人工智能鲁棒性研究中存在显著的术语碎片化现象，不同领域和应用场景中的定义存在差异。
• 通过生命周期视角，鲁棒性可得到最有效的解决，其中在数据准备、模型训练和推理阶段均会浮现特定挑战。
• 在深度神经网络中，尤其是视觉和自然语言处理任务中，存在普遍的模型特定鲁棒性问题，这主要源于对对抗样本和分布偏移的敏感性。
• 评估方法论常常忽视人类感知和认知偏见，导致在现实环境中对鲁棒性的高估。
• 在资源受限环境中，鲁棒性与模型效率或可解释性之间存在显著权衡。
• 人类参与不仅对评估鲁棒性至关重要，而且在识别边缘情况和情境性故障方面也必不可少，这些是自动化指标所无法捕捉的。