[論文レビュー] Preventing Repeated Real World AI Failures by Cataloging Incidents: The AI Incident Database

Sean McGregor|arXiv (Cornell University)|Nov 17, 2020

Occupational Health and Safety Research被引用数 10

ひとこと要約

本稿では、多様なソースから得た1,000件を超える現実世界のAIインシデント報告を体系的・検索可能・拡張可能に整理したAIインシデントデータベース（AIID）を提案する。このデータベースは、AIの導入における繰り返しの失敗を防ぐために、実務者が過去の被害から学べる仕組みを提供することを目的としている。ファセット検索およびフルテキスト検索、バージョン管理されたインシデント識別子、コミュニティ主導の分類体系を備え、公平性、安全性、技術的信頼性の分野における研究開発および是正活動を支援する。

ABSTRACT

Mature industrial sectors (e.g., aviation) collect their real world failures in incident databases to inform safety improvements. Intelligent systems currently cause real world harms without a collective memory of their failings. As a result, companies repeatedly make the same mistakes in the design, development, and deployment of intelligent systems. A collection of intelligent system failures experienced in the real world (i.e., incidents) is needed to ensure intelligent systems benefit people and society. The AI Incident Database is an incident collection initiated by an industrial/non-profit cooperative to enable AI incident avoidance and mitigation. The database supports a variety of research and development use cases with faceted and full text search on more than 1,000 incident reports archived to date.

研究の動機と目的

• 産業界および研究分野におけるAIの失敗に関する集団的記憶の欠如を是正すること。これは、航空やサイバーセキュリティのインシデントデータベースと同様の仕組みを想定する。
• 中央集権的で拡張可能かつコミュニティが維持するインシデントリポジトリを構築することで、欠陥のあるAIシステムの繰り返しの導入を削減すること。
• エンジニア、研究者、法務担当者、政策立案者を含む多様なステークホルダーが、構造化されたメタデータとファセット検索を通じて過去の失敗を発見できるように支援すること。
• 独立した組織が共通の相互運用可能なフレームワーク内に自らの分類体系（分類法）を定義・維持できる仕組みを提供することで、異分野間の協働を促進すること。
• 一時的なインシデントリストから、AIの安全性と責任性を高めるためのスケーラブルで生産的品質の研究開発基盤へと変革すること。

提案手法

• AIIDは、ニュース、業界誌、学術論文など多様なソースからインシデント報告を集約し、各インシデントに一意で永続的なIDを割り当て、複数の報告を1つのインシデント記録にリンクする。
• 各インシデントは、出典、公開日、報告者、インシデント日などの客観的メタデータでインデックス化され、構造化フィールドを対象としたフルテキスト検索およびファセット検索をサポートする。
• 名前空間を用いた分類体系モデルを採用しており、非営利団体やコンサルティング会社などの異なる組織が、自身の分類体系（例：「公平性」、「業界」）を定義・管理できる。この仕組みにより、普遍的なオントロジーの導入は不要となる。
• GitHubベースのワークフローを活用した動的アプリケーション生成を実現。コードのプッシュがNetlify上で自動ビルドをトリガーし、データベースを照会して静的で事前レンダリングされたWebアプリケーション（例：「FairnessExplorer」）を生成する。
• 静的サイト生成により、データ可視化や要約への低遅延でスケーラブルかつコスト効率の良いアクセスが可能となり、各ビルドサイクルでデータベースに同期された更新が反映される。
• アーキテクチャにより相互運用性が実現され、あるアプリケーション（例：公平性に焦点を当てたもの）の分類体系を、他のアプリケーション（例：業界に焦点を当てたもの）がフィルタリングして利用可能となる。これにより、データの重複を避けながら異分野分析が可能となる。

実験結果

リサーチクエスチョン

• RQ1 中央集権的でコミュニティが維持するインシデントデータベースは、安全に重要な分野や社会的分野における現実世界のAIインシデントの再発をどの程度低減できるか？
• RQ2 多様なAIアプリケーション分野およびステークホルダーの視点をカバーする、スケーラブルで拡張可能かつ相互運用可能なインシデント追跡を実現するアーキテクチャパターンは何か？
• RQ3 ファセット検索およびフルテキスト検索を備えた共有インシデントリポジトリは、GitHub や Google Docs における一時的なリストに比べて、過去のAIインシデントからの学習と発見をどの程度向上できるか？
• RQ4 単一のモノリシックなオントロジーを強制せずに、コミュニティ主導の分類体系を統合されたデータインfraにどのように統合できるか？
• RQ5 AIインシデントデータをAI研究開発コミュニティの公共財として持続的かつ長期的に管理するための技術的および組織的モデルは何か？

主な発見

• AIインシデントデータベースは現在、1,000件を超えるインシデント報告をホスティングしており、100件以上がすでに一意の識別子を割り当てられ、複数のソース報告にリンクされている。
• 引用可能で永続的なインシデント記録が可能である。例えば、インシデント #3 はボーイング737マックス8の墜落に関する18件の報告を集約しており、複数の視点からの分析を可能にしている。
• 静的サイト生成と自動ビルドを活用することで、低遅延でスケーラブルなデータ可視化や要約へのアクセスが実現され、ホスティングコストが削減され、パフォーマンスが向上している。
• 名前空間を用いた分類体系モデルにより、独立した組織が分野固有の分類（例：公平性、技術的障害）を定義・管理しつつ、複数のアプリケーション間でフィルタリングが可能となる。
• アーキテクチャは、すでに「Big 4」会計事務所、法律事務所、コンサルティング会社、学術機関など主要ステークホルダーからの関心を引き、初期段階での広範な採用可能性を示している。
• システムの設計により、技術分野、アプリケーション、影響を受ける人口別に時間軸に基づいたインシデントの可視化が可能となり、事前レンダリングされた静的ページを用いてデータベース同期に伴い更新される。