[论文解读] AuditMAI: Towards An Infrastructure for Continuous AI Auditing

Laura Waltersdorfer, Fajar J. Ekaputra+2 more|arXiv (Cornell University)|Jun 20, 2024

Big Data and Business Intelligence被引用 5

一句话总结

AuditMAI 提出一个持续AI审计基础架构的蓝图，定义AI可审计性并详细描述一个三视图框架（知识、过程、架构）以及原型（AuditBox），以在AI生命周期中实现端到端的自动化审计。

ABSTRACT

Artificial Intelligence (AI) Auditability is a core requirement for achieving responsible AI system design. However, it is not yet a prominent design feature in current applications. Existing AI auditing tools typically lack integration features and remain as isolated approaches. This results in manual, high-effort, and mostly one-off AI audits, necessitating alternative methods. Inspired by other domains such as finance, continuous AI auditing is a promising direction to conduct regular assessments of AI systems. The issue remains, however, since the methods for continuous AI auditing are not mature yet at the moment. To address this gap, we propose the Auditability Method for AI (AuditMAI), which is intended as a blueprint for an infrastructure towards continuous AI auditing. For this purpose, we first clarified the definition of AI auditability based on literature. Secondly, we derived requirements from two industrial use cases for continuous AI auditing tool support. Finally, we developed AuditMAI and discussed its elements as a blueprint for a continuous AI auditability infrastructure.

研究动机与目标

• 在文献与实践基础上澄清AI可审计性的工作定义。
• 从工业用例中推导出对持续AI审计工具支持的具体需求。
• 提出 AuditMAI 作为一个三视图框架，以促进在知识、过程和架构层面实现持续的AI审计。

提出的方法

• 我们将AI可审计性定义为在检查AI系统时，审计人员能够获得准确且相关的可审计工件以回答具体的审计问题的能力。
• 从两个工业用例和与项目伙伴的工作坊中推导出对持续AI审计的要求。
• 提出具有三个视图（Knowledge、Process、Architecture）的 AuditMAI，并将其要素作为AI可审计性基础设施蓝图进行讨论。
• 实现一个部分实现的原型（AuditBox），利用语义网技术来集成和管理可审计工件。
• 描述四个流程步骤（Audit Scoping、Audit Setup、Audit Artefact Collection、Audit Analysis and Reporting）以实现持续审计的落地运行。
• 概述四个架构服务（Audit Scoping、Audit Setup、Artefact Management、Analytics & Reporting）以实现该框架。

Figure 1: Auditability Definition Key Elements (E1-E4) and Challenges (C1-C2b)

实验结果

研究问题

• RQ1 促成持续AI可审计性所需基础设施的关键要素是什么？
• RQ2 工业用例如何为持续AI审计中的工具支持提供具体需求的参考？
• RQ3 三视图框架（Knowledge、Process、Architecture）如何促进端到端的AI审计？
• RQ4 语义技术在整合和管理可审计工件方面可以发挥什么作用？
• RQ5 在实践中实现持续AI审计的关键步骤是什么？

主要发现

• AI可审计性需要可识别的可审计工件（静态和动态）与审计问题和审核人员保持一致。
• 两个工业用例产生四个实际需求（R1–R4），涵盖工件识别、灵活收集、完全自动化以及分析可访问性。
• AuditMAI 提供一个三视图架构，整合知识管理、过程指南和架构服务，以支持持续AI审计。
• AuditBox 原型展示了基于语义网的集成和管理跨整个AI生命周期的可审计工件。
• 该框架提供一个分步的审计流程（scoping、setup、collection、analysis/reporting），以实现可重复的预防性审计。
• 在高层审计概念与完全自动化工具套件之间仍存在差距；未来工作包括扩展 AuditBox 以覆盖 AuditMAI 的所有步骤并评估该框架。

Figure 2: A schematic overview of the UCs and derived requirements (R1-R4)