[논문 리뷰] The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence

Peter Slattery, Alexander K. Saeri외 8명|arXiv (Cornell University)|2024. 08. 14.

Artificial Intelligence in Healthcare and Education인용 수 24

한 줄 요약

본 논문은 74개의 AI 위험 프레임워크를 하나의 통합 분류 체계와 1,725개의 위험 데이터베이스로 정리하고 조화시키며, 인간의 의사결정과 AI 시스템이 각각 상당한 위험에 기여하고 있음을 강조한다(38%와 42%, respectively).

ABSTRACT

The risks posed by Artificial Intelligence (AI) are of considerable concern to academics, auditors, policymakers, AI companies, and the public. However, a lack of shared understanding of AI risks can impede our ability to comprehensively discuss, research, and react to them. This paper addresses this gap by creating an AI Risk Repository to serve as a common frame of reference. This comprises a living database of 777 risks extracted from 43 taxonomies, which can be filtered based on two overarching taxonomies and easily accessed, modified, and updated via our website and online spreadsheets. We construct our Repository with a systematic review of taxonomies and other structured classifications of AI risk followed by an expert consultation. We develop our taxonomies of AI risk using a best-fit framework synthesis. Our high-level Causal Taxonomy of AI Risks classifies each risk by its causal factors (1) Entity: Human, AI; (2) Intentionality: Intentional, Unintentional; and (3) Timing: Pre-deployment; Post-deployment. Our mid-level Domain Taxonomy of AI Risks classifies risks into seven AI risk domains: (1) Discrimination & toxicity, (2) Privacy & security, (3) Misinformation, (4) Malicious actors & misuse, (5) Human-computer interaction, (6) Socioeconomic & environmental, and (7) AI system safety, failures, & limitations. These are further divided into 23 subdomains. The AI Risk Repository is, to our knowledge, the first attempt to rigorously curate, analyze, and extract AI risk frameworks into a publicly accessible, comprehensive, extensible, and categorized risk database. This creates a foundation for a more coordinated, coherent, and complete approach to defining, auditing, and managing the risks posed by AI systems.

연구 동기 및 목표

• 지금까지 공개된 주요 AI 위험 프레임워크를 체계적으로 분석하여 AI 위험의 포괄적 목록을 제공한다.
• 다양한 위험 분류 체계를 하나의 일관된 시스템으로 통합하여 연구 간 비교와 정책 매핑을 용이하게 한다.
• AI 위험의 원인을 정량화하고 더 안전한 AI 개발 및 규제를 안내하기 위한 패턴을 밝혀낸다.

제안 방법

• 지금까지 공개된 74개의 AI 위험 프레임워크를 체계적으로 분석했다.
• 프레임워크 간에 1,725개의 서로 다른 위험을 추출하고 조화시켰다.
• AI 위험 원인에서 패턴을 드러내기 위해 두 가지 분류 체계를 구축했다.
• 전반적인 위험에 대한 인간 의사결정과 AI 시스템의 기여를 정량화했다.

실험 결과

연구 질문

• RQ1 기존의 AI 위험 프레임워크의 범위와 내용은 무엇이며(74개 프레임워크, 1,725개의 위험) 어떻게 통합할 수 있는가?
• RQ2 더 나은 비교와 정책 활용을 위해 포괄적이고 공유되는 AI 위험의 분류 체계와 데이터베이스를 어떻게 구축할 수 있는가?
• RQ3 AI 관련 위험에 대한 인간 의사결정과 AI 시스템의 상대적 기여도는 얼마나 되는가(예: 원인 간 분포)?

주요 결과

• 74개의 AI 위험 프레임워크에서 1,725개의 서로 다른 위험이 식별되었다.
• 인간 의사결정은 AI 위험의 38%를 차지하고, AI 시스템은 42%를 차지한다.
• 통합된 위험 저장소는 연구자, 정책 입안자, 감사인 간의 보다 조정되고 포괄적인 위험 관리가 가능하게 한다.
• 이 연구는 AI 안전성의 위험 평가, 규제, 시스템 평가에 실용적인 도구를 제공한다.