[论文解读] Model Reporting for Certifiable AI: A Proposal from Merging EU Regulation into AI Development

Danilo Brajovic, Niclas Renner+8 more|arXiv (Cornell University)|Jul 21, 2023

Ethics and Social Impacts of AI被引用 7

一句话总结

本文提出了一套标准化的模型报告框架——在数据卡和模型卡的基础上扩展出使用场景卡和操作卡——以支持符合欧盟人工智能法案的可认证、可审计、可信赖的人工智能开发。通过整合监管要求、研究最佳实践以及来自开发人员和审计人员的实际反馈，该框架实现了全生命周期内透明、可追溯且合规的人工智能开发，为未来系统认证奠定了基础。

ABSTRACT

Despite large progress in Explainable and Safe AI, practitioners suffer from a lack of regulation and standards for AI safety. In this work we merge recent regulation efforts by the European Union and first proposals for AI guidelines with recent trends in research: data and model cards. We propose the use of standardized cards to document AI applications throughout the development process. Our main contribution is the introduction of use-case and operation cards, along with updates for data and model cards to cope with regulatory requirements. We reference both recent research as well as the source of the regulation in our cards and provide references to additional support material and toolboxes whenever possible. The goal is to design cards that help practitioners develop safe AI systems throughout the development process, while enabling efficient third-party auditing of AI applications, being easy to understand, and building trust in the system. Our work incorporates insights from interviews with certification experts as well as developers and individuals working with the developed AI applications.

研究动机与目标

• 解决实践中人工智能系统缺乏标准化、符合监管要求的文档化问题。
• 支持在全生命周期内开发安全、可信且可审计的人工智能系统。
• 弥合新兴欧盟人工智能法规与实际人工智能开发工作流程之间的差距。
• 为未来人工智能系统第三方认证提供基础。

提出的方法

• 在现有数据卡和模型卡框架基础上，新增两种卡片类型：使用场景卡和操作卡。
• 将欧盟人工智能法案及相关标准（如ISO、CEN、CENELEC）中的监管要求映射到具体的文档字段。
• 整合对原始法规、指南、工具包和支持材料的引用，以增强可追溯性和透明度。
• 结合对开发人员、认证专家和最终用户的访谈反馈，确保框架的实际可用性。
• 围绕四个关键开发阶段组织文档：数据、模型、测试/部署和运行。
• 强调版本控制、访问控制、隐私保护、MLOps实践以及性能监控，以确保合规性和可审计性。

实验结果

研究问题

• RQ1 如何使人工智能开发实践与即将实施的欧盟人工智能法案保持一致，以确保合规性和可审计性？
• RQ2 除了数据卡和模型卡之外，还需要哪些额外的文档组件，以支持监管合规性和第三方审计？
• RQ3 如何系统性地将监管要求映射为开发人员可操作的具体文档字段？
• RQ4 利益相关者反馈和实际部署经验在此类可认证的人工智能报告框架设计中发挥何种作用？
• RQ5 标准化报告如何提升人工智能系统在开发和运行阶段的透明度、信任度和可追溯性？

主要发现

• 所提出的框架通过引入使用场景卡和操作卡，作为数据卡和模型卡的必要补充，实现了对人工智能应用全生命周期的全面文档化。
• 该框架将欧盟人工智能法案及相关标准的监管要求映射到具体文档字段，确保合规性和可审计性。
• 通过包含对原始法规、指南和工具包的引用，该框架增强了每一项文档化要求的可追溯性和透明度。
• 成功整合了来自开发人员、认证专家和最终用户的反馈，提升了框架的实际相关性和可用性。
• 该框架支持MLOps实践，如版本化代码仓库、计划内再训练和性能监控，从而实现持续合规性和系统可靠性。
• 该方法为未来人工智能系统认证提供了结构化、可扩展的基础，使开发人员能够应对即将来临的法律义务。