[论文解读] FactSheets: Increasing Trust in AI Services through Supplier's Declarations of Conformity

Matthew Arnold, Rachel Bellamy+11 more|arXiv (Cornell University)|Aug 22, 2018

Ethics and Social Impacts of AI被引用 8

一句话总结

本文提出了FactSheets——一种由供应商发布的标准化文档，用于披露AI服务的性能、安全、可靠性、来源信息及使用限制。受其他行业供应商符合性声明（SDoC）的启发，FactSheets通过结构化透明化提升信任度，使消费者能够在部署前评估公平性、鲁棒性及伦理风险。

ABSTRACT

Accuracy is an important concern for suppliers of artificial intelligence (AI) services, but considerations beyond accuracy, such as safety (which includes fairness and explainability), security, and provenance, are also critical elements to engender consumers' trust in a service. Many industries use transparent, standardized, but often not legally required documents called supplier's declarations of conformity (SDoCs) to describe the lineage of a product along with the safety and performance testing it has undergone. SDoCs may be considered multi-dimensional fact sheets that capture and quantify various aspects of the product and its development to make it worthy of consumers' trust. Inspired by this practice, we propose FactSheets to help increase trust in AI services. We envision such documents to contain purpose, performance, safety, security, and provenance information to be completed by AI service providers for examination by consumers. We suggest a comprehensive set of declaration items tailored to AI and provide examples for two fictitious AI services in the appendix of the paper.

研究动机与目标

• 解决AI服务属性（如公平性、鲁棒性及安全性）缺乏标准化、透明化沟通的问题。
• 通过提供统一、结构化的服务特性接口，缩小AI服务生产者与消费者开发人员之间的专业知识差距。
• 通过记录的指标和使用场景，使消费者能够评估过度泛化和非预期使用的风险。
• 通过包含来源信息、训练数据来源及部署限制，促进问责制与可审计性。
• 建立自愿、可扩展的AI服务透明度框架，与现有的数据卡片和模型卡片相辅相成。

提出的方法

• 设计一种基于供应商符合性声明（SDoC）的FactSheet模板，并针对AI服务进行适配。
• 定义涵盖目的、性能、安全（公平性、可解释性、鲁棒性）、安全（对抗鲁棒性）及来源（训练数据与模型来源）的结构化部分。
• 为每个部分包含标准化声明项，如性能指标、偏差测试流程及数据保留政策。
• 提供两个虚构AI服务的示例FactSheets，以展示其实际应用与完整性。
• 强调由供应商进行自我声明，未来版本可选第三方验证。
• 集成反馈机制与性能漂移及数据分布变化的监控机制。

实验结果

研究问题

• RQ1 AI服务提供商如何系统性地向消费者传达其服务的安全性、性能与安全性特征？
• RQ2 何种结构化、标准化的格式可在不依赖第三方认证的情况下提升AI服务的透明度与信任度？
• RQ3 FactSheets如何通过结构化接口缩小AI开发者与使用AI服务的应用开发者之间的专业知识差距？
• RQ4 FactSheets如何通过记录的使用限制与测试场景，防止AI服务的误用与过度泛化？
• RQ5 来源信息、数据来源及模型训练细节在提升AI服务可审计性与问责制方面发挥何种作用？

主要发现

• FactSheets为AI服务提供了一个全面、多维的文档框架，涵盖目的、性能、安全、安全与来源信息。
• 所提出的FactSheet包含标准化声明项，可实现对公平性、可解释性及对抗鲁棒性的持续评估。
• 性能指标随时间追踪，可检测数据分布变化与模型退化。
• 安全措施包括数据加密、访问控制及恶意反馈过滤机制，采用14天数据保留策略。
• 服务包含阻止订阅伦理敏感主题（如仇恨言论或色情内容）的程序。
• FactSheets设计为供应商的自我声明，未来可引入第三方验证，且为自愿但可扩展的机制。