[论文解读] Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing
本文提出 SMACTR，一种内部审计框架，用于在开发过程中对照所宣称的原则评估 AI 系统，目标是在部署前填补问责差距。
Rising concern for the societal implications of artificial intelligence systems has inspired a wave of academic and journalistic literature in which deployed systems are audited for harm by investigators from outside the organizations deploying the algorithms. However, it remains challenging for practitioners to identify the harmful repercussions of their own systems prior to deployment, and, once deployed, emergent issues can become difficult or impossible to trace back to their source. In this paper, we introduce a framework for algorithmic auditing that supports artificial intelligence system development end-to-end, to be applied throughout the internal organization development lifecycle. Each stage of the audit yields a set of documents that together form an overall audit report, drawing on an organization's values or principles to assess the fit of decisions made throughout the process. The proposed auditing framework is intended to contribute to closing the accountability gap in the development and deployment of large-scale artificial intelligence systems by embedding a robust process to ensure audit integrity.
研究动机与目标
- 提出将内部算法审计作为部署前的机制，以评估与 AI 原则的一致性。
- 在产品开发生命周期中嵌入审计产出，以加强治理和问责。
- 提供一个结构化框架，用于揭示伦理风险并指导设计缓解措施。
- 演示内部审计如何补充外部问责并提升透明度。
提出的方法
- 将 SMACTR 介绍为五阶段流程：范围界定、映射、产出收集、测试与反思。
- 基于负责任创新和系统理论概念，定义治理实践，以预测社会技术风险。
- 具体说明各阶段产生的文档产出及审计员、工程师与管理层的角色。
- 通过程序正义和透明、可审计的方法论为审计的完整性辩护。
- 使用一个假设的 Company X 及两个客户场景来说明实际应用与结果。
实验结果
研究问题
- RQ1内部算法审计的端到端流程是什么，以使 AI 开发与组织原则保持一致？
- RQ2内部审计如何影响设计决策与治理，以在部署前减轻伦理和社会风险？
- RQ3需要哪些产出物与治理结构来支持可信的内部 AI 审计？
- RQ4内部审计如何补充 AI 治理中的外部问责机制？
主要发现
- 内部审计框架（SMACTR）可以将部署前评估结构化为范围界定、映射、产出收集、测试与反思。
- 审计应整合有原则的治理、前瞻性思维与利益相关者纳入，以揭示伦理风险。
- 有文档化的产出物和透明的程序提升审计的完整性与合法性（程序正义）。
- 内部审计可以揭示设计过程中的差距，并为使组织变革以符合 AI 原则提供信息。
- 示例展示了审计如何应用于高风险场景（儿童虐待筛查）和低风险场景（微笑检测）以说明风险考量。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。