[论文解读] ABOUT ML: Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles

Inioluwa Deborah Raji, Jingying Yang|arXiv (Cornell University)|Dec 12, 2019

Scientific Computing and Data Management参考文献 19被引用 23

一句话总结

ABOUT ML 项目提出了一套标准化、协作化的机器学习系统文档框架，旨在提升机器学习生命周期中的透明度与问责性。通过结合结构化文档模板、由指导委员会和多元声音小组参与的多方利益相关者评审流程，以及公开的评论迭代机制，该倡议旨在将透明度作为一项实际、可扩展的标准，应用于产业界与研究领域。

ABSTRACT

We present the "Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles" (ABOUT ML) project as an initiative to operationalize ML transparency and work towards a standard ML documentation practice. We make the case for the project's relevance and effectiveness in consolidating disparate efforts across a variety of stakeholders, as well as bringing in the perspectives of currently missing voices that will be valuable in shaping future conversations. We describe the details of the initiative and the gaps we hope this project will help address.

研究动机与目标

• 解决尽管透明度被广泛认可为伦理原则，但在机器学习系统中仍缺乏一致且可操作的透明度实践的问题。
• 将产业界、政府与民间社会中分散的透明度努力整合为统一、标准化的文档框架。
• 通过专门的反馈机制，确保代表性不足的群体——尤其是边缘化社区——在塑造机器学习透明度标准过程中发挥实质性作用。
• 提供一种实用、可集成到工作流中的解决方案，以实现透明度的落地，降低不同团队与组织的采用门槛。
• 建立一个持续演进的机器学习文档标准，能够根据新研究、政策发展和实际实施反馈不断调整。

提出的方法

• 开发标准化的机器学习系统文档模板，参照营养标签的模式，以捕捉数据、模型行为、风险与局限性等关键信息。
• 实施多利益相关者治理模式，设立由来自不同组织的30位专家组成的指导委员会，负责指导修订并批准发布。
• 整合由华盛顿大学科技政策实验室共同创建的‘多元声音’小组，收集历史上被排除在人工智能决策过程之外的社区的意见。
• 在每次发布前，通过公开评论期和‘大致共识’流程，纳入更广泛社区的反馈。
• 将项目设计为迭代式、版本化的发布流程（例如，当前处于审查阶段的版本0，预计2020年初发布版本1），以确保持续改进。
• 使该框架与现有的监管和行业实践保持一致，如GDPR、FCRA、ECOA以及企业AI原则，以确保其相关性与采纳度。

实验结果

研究问题

• RQ1 如何在不同组织和工作流程中，将机器学习的透明度转化为一种实际、可扩展且一致的实践？
• RQ2 哪些机制可以确保边缘化和代表性不足的社区在机器学习透明度标准制定过程中发挥实质性贡献？
• RQ3 标准化的文档框架如何减少模糊性，并提升机器学习系统部署与审计中的问责性？
• RQ4 全面、可操作且人类可读的机器学习文档模板的关键组成部分是什么，以支持信任与透明度？
• RQ5 如何通过持续反馈和对新研究与政策发展的适应，维持一个持续演进的机器学习文档标准？

主要发现

• 在对50份AI原则声明的调查中，94%明确提到了透明度，证实其作为AI治理中最常被引用的伦理原则的地位。
• 尽管透明度被广泛认为至关重要，但在将高层级原则转化为具体、可操作的文档实践方面，仍存在显著差距。
• ABOUT ML 项目已建立由30位多元背景专家组成的指导委员会，并通过整合‘多元声音’小组的反馈，确保标准制定过程的包容性。
• 该项目采用迭代式、版本化的发布流程，并设有公开评论阶段，目标是在2020年初发布版本1，包含正式建议。
• 该框架不仅将文档视为静态成果，更将其视为一种动态过程，贯穿机器学习生命周期，促进批判性思维与伦理反思。
• 该倡议解决了知识产权、信息安全和定制化需求等关键挑战，同时推动透明度作为问责机制的基础。