[论文解读] Audit and Assurance of AI Algorithms: A framework to ensure ethical algorithmic practices in Artificial Intelligence

Ramya Akula, Iván Garibay|arXiv (Cornell University)|Jul 14, 2021

Ethics and Social Impacts of AI被引用 7

一句话总结

本文提出了一套全面的AI算法审计与保障框架，以确保其在伦理、法律和安全方面的部署。该框架概述了四个阶段的开发生命周期（数据管理、模型选择、开发、运营），按访问级别定义了审计类型（白盒、灰盒、黑盒），并确立了关键审计标准，包括公平性、准确性、鲁棒性、可解释性和隐私性，为可信AI治理提供了基础路线图。

ABSTRACT

Algorithms are becoming more widely used in business, and businesses are becoming increasingly concerned that their algorithms will cause significant reputational or financial damage. We should emphasize that any of these damages stem from situations in which the United States lacks strict legislative prohibitions or specified protocols for measuring damages. As a result, governments are enacting legislation and enforcing prohibitions, regulators are fining businesses, and the judiciary is debating whether or not to make artificially intelligent computer models as the decision-makers in the eyes of the law. From autonomous vehicles and banking to medical care, housing, and legal decisions, there will soon be enormous amounts of algorithms that make decisions with limited human interference. Governments, businesses, and society would have an algorithm audit, which would have systematic verification that algorithms are lawful, ethical, and secure, similar to financial audits. A modern market, auditing, and assurance of algorithms developed to professionalize and industrialize AI, machine learning, and related algorithms. Stakeholders of this emerging field include policymakers and regulators, along with industry experts and entrepreneurs. In addition, we foresee audit thresholds and frameworks providing valuable information to all who are concerned with governance and standardization. This paper aims to review the critical areas required for auditing and assurance and spark discussion in this novel field of study and practice.

研究动机与目标

• 应对医疗、金融和执法等高风险领域中日益增长的关于不道德、不公平或有害AI决策的担忧。
• 回应尽管监管和社会关注度不断提高，但缺乏标准化、具有法律约束力的AI系统审计协议的现状。
• 开发一种系统化、可重复的AI算法审计框架，类似于财务审计，以确保问责制和信任。
• 提供一种结构化方法，用于评估AI系统在公平性、准确性、鲁棒性、可解释性和隐私性等关键维度上的表现。
• 促进监管机构、产业界和学术界的合作，以标准化AI治理，降低算法伤害的风险。

提出的方法

• 提出以四个阶段的AI开发生命周期（数据管理、模型选择、开发、运营）为基础，作为可审计性的核心。
• 将审计访问级别分类为白盒（完全访问）、灰盒（部分访问）和黑盒（无访问），以界定审计范围。
• 引入一个多维审计框架，从公平性、准确性、鲁棒性、可解释性和隐私性等方面评估AI系统。
• 应用在竞争性AI属性之间（如可解释性与准确性、公平性与隐私性）的权衡分析，以指导审计决策。
• 建议在部署期间实施持续监控和指标跟踪，以确保持续合规并减轻风险。
• 建议通过认证和文档化流程，正式确立审计结果，增强利益相关方信任。

实验结果

研究问题

• RQ1 如何设计一种标准化的审计框架，以评估AI算法的伦理、法律和技术完整性？
• RQ2 在AI算法审计过程中，应评估哪些关键维度（例如公平性、准确性、可解释性）？
• RQ3 不同级别的审计员访问权限（白盒、灰盒、黑盒）如何影响AI审计的范围和可靠性？
• RQ4 在竞争性AI属性（如准确性与可解释性、隐私性与公平性）之间存在哪些权衡？在审计中应如何管理这些权衡？
• RQ5 如何在AI生命周期的不同阶段实施审计框架，以确保持续合规和信任？

主要发现

• 系统化的AI算法审计框架对于确保合法性、伦理性和安全性至关重要，类似于财务审计。
• 四阶段AI开发生命周期（数据管理、模型选择、开发、运营）为可审计性提供了结构化基础。
• 审计结果在很大程度上取决于可访问性的水平——白盒审计可提供最全面的评估，而黑盒审计虽有限但必不可少。
• 关键审计标准包括公平性（对受保护群体的平等对待）、准确性（泛化性能）、鲁棒性（在不同输入下的稳定性）和可解释性（决策的可解释性）。
• 可解释性与准确性等AI属性之间的权衡普遍存在，必须根据具体情境进行管理，而非普遍解决。
• 在部署期间实施持续监控和指标跟踪，对于维持信任以及检测部署后的漂移或偏见至关重要。