[論文レビュー] Indexing AI Risks with Incidents, Issues, and Variants

Sean McGregor, Kevin Paeth+1 more|arXiv (Cornell University)|Nov 18, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は、AIリスクのための二段階インデクシングシステムを提案する—『インシデント』（実現した害又は準近傍の害）と『イシュー』（まだ実現していない潜在的害）—に加え、繰り返し発生するインシデントを管理するための『バリアント』を導入する。このアプローチにより、スケーラビリティが向上し、政策準拠が可能となり、グローバルなデータベース間で相互運用可能で引用可能なインシデント追跡が実現する。

ABSTRACT

Two years after publicly launching the AI Incident Database (AIID) as a collection of harms or near harms produced by AI in the world, a backlog of "issues" that do not meet its incident ingestion criteria have accumulated in its review queue. Despite not passing the database's current criteria for incidents, these issues advance human understanding of where AI presents the potential for harm. Similar to databases in aviation and computer security, the AIID proposes to adopt a two-tiered system for indexing AI incidents (i.e., a harm or near harm event) and issues (i.e., a risk of a harm event). Further, as some machine learning-based systems will sometimes produce a large number of incidents, the notion of an incident "variant" is introduced. These proposed changes mark the transition of the AIID to a new version in response to lessons learned from editing 2,000+ incident reports and additional reports that fall under the new category of "issue."

研究の動機と目的

• 厳格なインシデント基準を満たさないが、依然として顕著なリスクを示すAI害レポートの増加を是正すること。
• 報告件数の増加とデータ不備の影響を受ける中で、AIインシデントデータベースのスケーラビリティと持続可能性を向上させること。
• 実現済みインシデントと潜在的リスクを区別できる柔軟な報告階層を提供することで、政策立案を支援すること。
• 共通の原因と影響を有する類似インシデントをグループ化する『バリアント』の導入により、編集負荷を軽減すること。
• 標準化された名前空間付き識別子を用いることで、国家的・組織的AIインシデントデータベース間の相互運用性を実現すること。

提案手法

• 二段階分類の導入：『AIインシデント』（AIシステムに関連する疑わしい害又は準近傍の害）と『AIイシュー』（まだ実現していない潜在的害）。
• 『AIインシデントバリアント』を、既知のインシデントと同一の原因要因、害、システムを有する出来事として定義し、重複インデクシングを削減する。
• 新規のインシデント識別子フォーマットを提案：NAMESPACE:INCIDENT#.VARIANT#。これは後方互換性を保ちつつ、将来的なデータベース連携を可能にする。
• 航空安全やサイバーセキュリティのモデル（例：CVE）を参考にし、出来事とリスクを明確に区別する。
• パレスチナの検問所における顔認識技術の事例など、現実世界の事例を提示し、イシュー分類とバリアント管理の必要性を説明する。
• 自主的および義務的な報告フレームワークをサポートするように設計し、イシュー層を通じた早期開示にインcentiveを提供する。

実験結果

リサーチクエスチョン

• RQ1 AIインシデントデータベースは、まだ実現していないが顕著なリスクを伴う潜在的害を、どのように効果的に捉え、分類できるか？
• RQ2 編集能力の限界に直面する中で、インシデント報告のスケーリングを実現するには、どのような構造的変更が必要か？
• RQ3 インシデントバリアントは、冗長性を低減しつつ追跡可能性を保つために、どのように意味的にグループ化され、識別されるべきか？
• RQ4 二段階システム（インシデント対イシュー）は、規制準拠と政策立案を支援するために、どのように機能するか？
• RQ5 インシデント識別子は、フェデレーテッド、国家的、または組織的データベース間で相互運用性を実現するために、どのように拡張可能か？

主な発見

• AIIDは300件以上のインシデントと2,000件以上のインシデントレポートをインデクシングしており、現在のインシデント基準を満たさないが、依然として実際のリスクを示すレポートの蓄積が顕著に増加していることが判明した。
• 『イシュー』の導入により、実際に誤識別が発生した証明がなくても、顔認識システムによる監視といった顕著な潜在的害を保持・追跡できるようになった。
• 同じ顔認識システムによる繰り返し発生する誤識別といったインシデントバリアントは、同一インシデントにバリアント識別子を付与することでグループ化され、編集負荷が軽減された。
• 提案された NAMESPACE:INCIDENT#.VARIANT# 形式の識別子は、後方互換性を確保するとともに、国境を越えたインシデントデータベースの統合を将来にわたって可能にする。
• 二段階システムは規制準拠の実用的道筋を提供し、早期にイシューを報告した場合の罰則免除などのインcentiveを提供する。
• このフレームワークは相互運用可能でスケーラブルに設計されており、国際的基準（OECDが開発を進めている基準など）と整合し、グローバルな採用を支援する。