[論文レビュー] The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence

Peter Slattery, Alexander K. Saeri+8 more|arXiv (Cornell University)|Aug 14, 2024

Artificial Intelligence in Healthcare and Education被引用数 24

ひとこと要約

本論文は74のAIリスクフレームワークを統合・調和させ、1,725件のリスクを含む統一的な分類体系とデータベースを作成し、人間の判断とAIシステムがそれぞれ重大なリスクに寄与していることを強調しています（それぞれ38%と42%）。

ABSTRACT

The risks posed by Artificial Intelligence (AI) are of considerable concern to academics, auditors, policymakers, AI companies, and the public. However, a lack of shared understanding of AI risks can impede our ability to comprehensively discuss, research, and react to them. This paper addresses this gap by creating an AI Risk Repository to serve as a common frame of reference. This comprises a living database of 777 risks extracted from 43 taxonomies, which can be filtered based on two overarching taxonomies and easily accessed, modified, and updated via our website and online spreadsheets. We construct our Repository with a systematic review of taxonomies and other structured classifications of AI risk followed by an expert consultation. We develop our taxonomies of AI risk using a best-fit framework synthesis. Our high-level Causal Taxonomy of AI Risks classifies each risk by its causal factors (1) Entity: Human, AI; (2) Intentionality: Intentional, Unintentional; and (3) Timing: Pre-deployment; Post-deployment. Our mid-level Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental, and (7) AI system safety, failures, & limitations. These are further divided into 23 subdomains. The AI Risk Repository is, to our knowledge, the first attempt to rigorously curate, analyze, and extract AI risk frameworks into a publicly accessible, comprehensive, extensible, and categorized risk database. This creates a foundation for a more coordinated, coherent, and complete approach to defining, auditing, and managing the risks posed by AI systems.

研究の動機と目的

• これまでに公表された主要なAIリスクフレームワークを体系的に分析することにより、AIリスクの包括的なカタログを提供する。
• 多様なリスク分類体系を単一の首尾一貫したシステムに統合し、研究間の比較や政策マッピングを容易にする。
• AIリスクの源泉を定量化し、より安全なAI開発と規制を導くパターンを明らかにする。

提案手法

• これまで公表された74のAIリスクフレームワークを体系的に分析した。
• フレームワーク全体から1,725の異なるリスクを抽出・統合した。
• AIリスク源のパターンを明らかにするために2つの分類システムを構築した。
• 全体リスクに対する人間の判断とAIシステムの寄与を定量化した。

実験結果

リサーチクエスチョン

• RQ1 既存のAIリスクフレームワークの範囲と内容は何か（74フレームワーク、1,725リスク）そしてそれらをどのように統合できるか？
• RQ2 比較と政策利用を改善するために、包括的で共有されたAIリスクの分類体系とデータベースをどのように構築できるか？
• RQ3 AI関連リスクに対する人間の判断とAIシステムの寄与は相対的にどの程度か（原因間の分布など）？

主な発見

• 74のAIリスクフレームワークにまたがって、1,725の異なるリスクが特定されている。
• 人間の判断はAIリスクの38%を占め、AIシステムは42%を占める。
• 統一されたリスクリポジトリは、研究者、政策担当者、監査人間でより協調的で網羅的なリスク管理を可能にする。
• 本研究はAIの安全性におけるリスク評価、規制、システム評価の実用的なツールを提供する。