[论文解读] Indexing AI Risks with Incidents, Issues, and Variants

Sean McGregor, Kevin Paeth+1 more|arXiv (Cornell University)|Nov 18, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种两级AI风险索引系统——'事件'（已实现的伤害或近似伤害）和'问题'（尚未实现的潜在伤害），并引入'变体'以管理重复事件。该方法提升了可扩展性，支持政策合规性，并实现全球数据库间可互操作、可引用的事件追踪。

ABSTRACT

Two years after publicly launching the AI Incident Database (AIID) as a collection of harms or near harms produced by AI in the world, a backlog of "issues" that do not meet its incident ingestion criteria have accumulated in its review queue. Despite not passing the database's current criteria for incidents, these issues advance human understanding of where AI presents the potential for harm. Similar to databases in aviation and computer security, the AIID proposes to adopt a two-tiered system for indexing AI incidents (i.e., a harm or near harm event) and issues (i.e., a risk of a harm event). Further, as some machine learning-based systems will sometimes produce a large number of incidents, the notion of an incident "variant" is introduced. These proposed changes mark the transition of the AIID to a new version in response to lessons learned from editing 2,000+ incident reports and additional reports that fall under the new category of "issue."

研究动机与目标

• 解决不符合严格事件标准但仍表明重大风险的AI伤害报告积压问题。
• 在报告量上升和数据不完整的情况下，提升AI事件数据库的可扩展性与可持续性。
• 通过支持灵活的报告层级（区分已实现事件与潜在风险），助力政策制定。
• 通过引入'变体'将具有相同成因和影响的相似事件归类，减轻编辑负担。
• 通过标准化、命名空间化的标识符，实现国家和组织级AI事件数据库之间的互操作性。

提出的方法

• 引入两级分类：'AI事件'（涉及AI系统的疑似伤害或近似伤害）和'AI问题'（尚未实现的潜在伤害）。
• 将'AI事件变体'定义为与已知事件共享相同成因因素、伤害类型和系统要素的事件，以减少冗余索引。
• 提出新的事件标识符格式：NAMESPACE:INCIDENT#.VARIANT#，确保向后兼容性并支持未来跨系统互操作。
• 借鉴航空安全与网络安全模型（如CVE）的思路，区分事件与风险。
• 使用现实案例（如巴勒斯坦检查站的人脸识别）说明问题分类与变体处理的必要性。
• 设计该系统以支持自愿与强制报告框架，并通过问题层级为早期披露提供激励。

实验结果

研究问题

• RQ1 AI事件数据库如何有效捕捉并分类尚未实际发生但具有重大风险的潜在伤害？
• RQ2 为实现事件报告的可扩展性，需进行哪些结构上的调整，以避免超出编辑能力负荷？
• RQ3 如何有意义地归类和标识事件变体，以减少冗余同时保持可追溯性？
• RQ4 两级系统（事件与问题）在支持监管合规与政策制定方面可发挥何种作用？
• RQ5 如何扩展事件标识符，以支持联邦制、国家或组织级数据库之间的互操作性？

主要发现

• AIID已索引超过300起事件和2,000份事件报告，揭示了大量不符合当前事件标准但仍表明真实风险的报告积压。
• 引入'问题'类别使数据库能够保留并追踪关键潜在伤害（如人脸识别系统监控），而无需实际误识别的证据。
• 事件变体（如同一人脸识别系统重复误识别）可归入单一事件并附加变体标识符，从而减轻编辑工作量。
• 提出的 NAMESPACE:INCIDENT#.VARIANT# 标识符格式支持向后兼容性，并为未来跨司法管辖区的事件数据库整合提供支持。
• 两级系统为监管合规提供了切实可行的路径，例如通过早期报告问题可获得处罚豁免等激励措施。
• 该框架设计为可互操作且可扩展，支持全球采纳，并与经合组织等国际组织正在制定的标准保持一致。