[論文レビュー] A taxonomic system for failure cause analysis of open source AI incidents

Nikiforos Pittaras, Sean McGregor|arXiv (Cornell University)|Nov 14, 2022

Occupational Health and Safety Research被引用数 6

ひとこと要約

本論文は、AIインシデントデータベース（AIID）から得た専門家がアノテートしたデータを用いて、オープンソースAIインシデントにおける技術的障害要因を分析するための三段階分類体系—目的（Goals）、手法／技術（Methods/Technologies）、障害原因（Failure Causes）（GMF）—を提案する。この体系により、構造的でデータ駆動型の現実世界のAI障害分析が可能となり、初期の結果ではAIIDの12.4%のカバレッジと、潜在的なアノテーションの51.32%が特定された。

ABSTRACT

While certain industrial sectors (e.g., aviation) have a long history of mandatory incident reporting complete with analytical findings, the practice of artificial intelligence (AI) safety benefits from no such mandate and thus analyses must be performed on publicly known ``open source'' AI incidents. Although the exact causes of AI incidents are seldom known by outsiders, this work demonstrates how to apply expert knowledge on the population of incidents in the AI Incident Database (AIID) to infer the potential and likely technical causative factors that contribute to reported failures and harms. We present early work on a taxonomic system that covers a cascade of interrelated incident factors, from system goals (nearly always known) to methods / technologies (knowable in many cases) and technical failure causes (subject to expert analysis) of the implicated systems. We pair this ontology structure with a comprehensive classification workflow that leverages expert knowledge and community feedback, resulting in taxonomic annotations grounded by incident data and human expertise.

研究の動機と目的

• 現実世界のAIインシデントにおける技術的障害要因を体系的かつ関連性のある分類体系として分析すること。
• 既存のAIインシデント報告および分類における体系的で技術的な障害分析の欠如に対処すること。
• 専門家の知識を用いて、高水準のインシデント報告と詳細な技術的障害原因の根本要因の間のギャップを埋めること。
• 技術的専門知識に基づいた、コミュニティが関与するスケーラブルなアノテーションワークフローを構築すること。
• 標準化されたインシデント分類を通じて、将来的なAIセーフティ、アライメント、リスク低減に関するデータ駆動型研究を支援すること。

提案手法

• AIシステムの目的、手法／技術、技術的障害原因という三段階のオントロジーを構築し、相互関連する関係を設ける。
• AIインシデントデータベース（AIID）の代表的サンプル（約10%）に対して、専門家（博士号保有の機械学習およびAIセーフティ研究者）によるアノテーションを実施する。
• フィードバックループを含む反復的で段階的な分類体系開発プロセスを実装し、分類構造の洗練と拡張を図る。
• 自動補完や推薦機能などの自動化機能を備えた、クラウドソーシングを想定した将来のユーザーインターフェースを設計する。
• 分類体系をAIIDプラットフォームに統合し、インシデント検索、障害モードの探求、システムデプロイメント分析を可能にする。
• インシデントカテゴリごとのアノテーション進捗、カバレッジ、完全性を追跡する統計的トラッキングを実施する。

実験結果

リサーチクエスチョン

• RQ1 オープンソースAIインシデントにおける技術的障害要因は、どのようにしてシステムの目的と実装手法に関連付けて体系的に分類・リンクできるか？
• RQ2 専門家の知識とコミュニティからのフィードバックは、現実世界のAIインシデントにおける障害原因アノテーションの正確性と完全性をどの程度向上させられるか？
• RQ3 目的、手法、障害原因という多段階分類体系（GMF）を、大規模で多様なAIインシデントレポートに適用する可能性とスケーラビリティはどの程度か？
• RQ4 標準化された、データに基づいた分類体系は、将来的なAIセーフティ、アライメント、リスク低減分野の研究をどのように支援できるか？
• RQ5 クラウドソーシングによるアノテーションとツールキットは、AIインシデントデータのキュレーションと有用性をどのように向上させられるか？

主な発見

• GMF分類体系はAIIDの41件のインシデントに適用され、データベース全体の12.40%のカバレッジを達成した。
• 潜在的なアノテーションの51.32%が未割り当てのまま残っており、今後の拡張およびアノテーションの余地が著しくあることが示された。
• 平均して、1件のインシデントあたり1.20件の目的、2.43件の手法／技術、3.78件の技術的障害原因が関連付けられている。
• 初期のアノテーションフェーズで、既知のアノテーション完全性が48.68%に達し、インシデントの核心的部分のラベリングにおける進捗が示された。
• 今後のバージョンで、倫理、哲学、人的要因といった追加の視点を分類体系に統合する予定である。
• AIインシデントのスケーラブルで自動化され、コミュニティ主導のアノテーションを支援する専用のユーザーインターフェースが開発中である。