[论文解读] A taxonomic system for failure cause analysis of open source AI incidents

Nikiforos Pittaras, Sean McGregor|arXiv (Cornell University)|Nov 14, 2022

Occupational Health and Safety Research被引用 6

一句话总结

本文提出了一种三层分类体系——目标（Goals）、方法/技术（Methods/Technologies）与故障原因（Failure Causes，简称GMF），用于基于AI事故数据库（AIID）中专家标注的数据，分析开源AI事故的技术故障成因。该体系实现了对现实世界AI故障的结构化、数据驱动分析，初步结果显示覆盖了AIID的12.4%，识别出51.32%的潜在标注项。

ABSTRACT

While certain industrial sectors (e.g., aviation) have a long history of mandatory incident reporting complete with analytical findings, the practice of artificial intelligence (AI) safety benefits from no such mandate and thus analyses must be performed on publicly known ``open source'' AI incidents. Although the exact causes of AI incidents are seldom known by outsiders, this work demonstrates how to apply expert knowledge on the population of incidents in the AI Incident Database (AIID) to infer the potential and likely technical causative factors that contribute to reported failures and harms. We present early work on a taxonomic system that covers a cascade of interrelated incident factors, from system goals (nearly always known) to methods / technologies (knowable in many cases) and technical failure causes (subject to expert analysis) of the implicated systems. We pair this ontology structure with a comprehensive classification workflow that leverages expert knowledge and community feedback, resulting in taxonomic annotations grounded by incident data and human expertise.

研究动机与目标

• 开发一种结构化、相互关联的分类体系，用于分析现实世界AI事故中的技术故障成因。
• 解决现有AI事故报告与分类中缺乏系统性技术故障分析的问题。
• 利用专家知识，弥合高层次事故报告与细致技术故障根本原因之间的差距。
• 创建一种可扩展、基于社区反馈的标注工作流，确保AI事故数据标注建立在技术专长基础之上。
• 通过标准化的事故分类，支持未来在AI安全、对齐与风险缓解方面的数据驱动研究。

提出的方法

• 构建一个三层本体：AI系统目标、方法/技术与技术故障原因，建立相互关联的关系。
• 由具备博士学位水平的机器学习与AI安全研究人员对AI事故数据库（AIID）中代表性样本（约10%）进行专家标注。
• 实施迭代式分类体系开发流程，通过反馈回路持续优化与扩展分类结构。
• 设计未来用户界面，支持众包标注，集成自动补全与推荐等自动化功能。
• 将分类体系整合至AIID平台，以支持事故检索、故障模式探索与系统部署分析。
• 使用统计追踪机制，监控各事故类别中注释进度、覆盖率与完整性。

实验结果

研究问题

• RQ1 如何系统性地对开源AI事故中的技术故障成因进行分类，并将其与系统目标及实现方法关联？
• RQ2 专家知识与社区反馈在多大程度上可提升现实世界AI事故中故障成因标注的准确性与完整性？
• RQ3 将多层分类体系（目标、方法、故障原因）应用于大规模、多样化AI事故报告的可行性与可扩展性如何？
• RQ4 标准化、基于数据的分类体系如何支持未来在AI安全、对齐与风险缓解方面的研究？
• RQ5 众包标注与工具支持在提升AI事故数据整理与实用性方面发挥何种作用？

主要发现

• GMF分类体系已应用于AIID中的41起事故，实现数据库12.40%的覆盖率。
• 在所有潜在标注项中，51.32%尚未被分配，表明未来在扩展与标注方面仍有巨大空间。
• 平均每起事故关联1.20项目标、2.43种方法/技术与3.78个技术故障原因。
• 初始标注阶段实现了48.68%的已知标注完整性，表明在标记事故核心组件方面已取得进展。
• 该分类体系正在扩展，未来迭代将纳入伦理、哲学与人因等额外视角。
• 正在开发专用用户界面，以支持AI事故的可扩展、自动化与社区驱动标注。