[论文解读] Technologies for Trustworthy Machine Learning: A Survey in a Socio-Technical Context

Ehsan Toreini, Mhairi Aitken+6 more|arXiv (Cornell University)|Jul 17, 2020

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种社会技术框架，通过识别四个核心可信属性——公平性、可解释性、可审计性和安全与防护（FEAS）——并全面调研机器学习全生命周期中的技术，构建可信的机器学习系统。该框架强调从数据收集到模型推理的全过程中整合这些属性，倡导跨学科研究与工具开发，以使技术系统与人工智能政策目标保持一致。

ABSTRACT

Concerns about the societal impact of AI-based services and systems has encouraged governments and other organisations around the world to propose AI policy frameworks to address fairness, accountability, transparency and related topics. To achieve the objectives of these frameworks, the data and software engineers who build machine-learning systems require knowledge about a variety of relevant supporting tools and techniques. In this paper we provide an overview of technologies that support building trustworthy machine learning systems, i.e., systems whose properties justify that people place trust in them. We argue that four categories of system properties are instrumental in achieving the policy objectives, namely fairness, explainability, auditability and safety & security (FEAS). We discuss how these properties need to be considered across all stages of the machine learning life cycle, from data collection through run-time model inference. As a consequence, we survey in this paper the main technologies with respect to all four of the FEAS properties, for data-centric as well as model-centric stages of the machine learning system life cycle. We conclude with an identification of open research problems, with a particular focus on the connection between trustworthy machine learning technologies and their implications for individuals and society.

研究动机与目标

• 通过使技术系统与新兴人工智能政策框架对齐，回应社会对人工智能在公平性、问责制和透明度方面影响日益增长的关切。
• 识别并系统化四个关键系统属性——公平性、可解释性、可审计性和安全与防护（FEAS）——作为可信机器学习的基础。
• 通过调研适用于机器学习生命周期所有阶段的技术，弥合抽象政策目标与具体技术实现之间的鸿沟。
• 强调需要集成化工具与教育，以缩小从业者对伦理系统设计的理解与实际应用之间的差距。
• 推进社会技术整合研究，包括社会科学理论与形式化方法，以确保可信人工智能系统满足社会质量目标。

提出的方法

• 将可信机器学习技术分为两大类：以数据为中心的可信性（数据收集、预处理、特征工程）与以模型为中心的可信性（模型训练、测试、推理）。
• 采用“信任链”模型映射系统开发各阶段之间的依赖关系，确保从输入数据到运行时输出的可信性得以维持。
• 调研适用于四个FEAS属性的现有工具与技术，重点关注其在真实机器学习流水线中的实际适用性。
• 在安全与防护类别中强调隐私与安全，同时承认可靠性与鲁棒性为次要关注点。
• 将政策框架（如欧盟人工智能法案、经合组织人工智能原则）的见解与技术能力相结合，以指导系统工程决策。
• 提出未来研究方向，聚焦于跨学科整合、数据处理权衡的形式化，以及对从业者的教育。

实验结果

研究问题

• RQ1 如何在机器学习全生命周期中系统性地实现公平性、可解释性、可审计性与安全与防护（FEAS）这四项可信属性？
• RQ2 在数据工程与模型部署方面，机器学习系统与社会及政策目标对齐方面存在哪些关键技术缺口？
• RQ3 社会科学研究中的信任理论如何与机器学习系统设计中的技术需求产生有意义的关联？
• RQ4 教育与工具在缩小伦理人工智能政策与数据与软件工程师实际实现之间差距方面发挥何种作用？
• RQ5 如何在机器学习流水线中对准确性、效率与FEAS属性之间的权衡进行形式化建模与管理？

主要发现

• FEAS框架——公平性、可解释性、可审计性与安全与防护——为构建可信机器学习系统提供了全面且可操作的基础。
• 在数据与软件工程实践中，尚缺乏成熟的方法来对数据集进行转换，以在机器学习流水线中保持或增强FEAS属性。
• 当前用于FEAS的工具与技术往往按阶段或属性孤立存在，跨以数据为中心与以模型为中心的开发阶段整合有限。
• 如Avizienis等人（2004）提出的系统性可靠系统设计方法，需进一步扩展以应对基于人工智能系统的独特挑战。
• 教育与从业者培训至关重要，调查显示从业者对公平性与问责制的理解与现有技术解决方案之间存在脱节。
• 未来研究必须优先考虑跨学科协作、数据处理链的形式化，以及集成化工程工具的开发，以实现以政策为导向的可信性。