[논문 리뷰] Risk assessment at AGI companies: A review of popular risk assessment techniques from other safety-critical industries

Leonie Koessler, Jonas Schuett|arXiv (Cornell University)|2023. 07. 17.

Risk and Safety Analysis인용 수 8

한 줄 요약

이 논문은 다른 안전-중요 산업에서 확립된 위험 평가 기법들을 검토하고, AGI 기업이 이를 적용해 재난적 AI 위험을 식별, 분석, 평가하는 방법을 설명하며, 이 기법들이 단독으로 충분하지 않으며 AI 특화 평가로 보완되어야 한다고 지적한다.

ABSTRACT

Companies like OpenAI, Google DeepMind, and Anthropic have the stated goal of building artificial general intelligence (AGI) - AI systems that perform as well as or better than humans on a wide variety of cognitive tasks. However, there are increasing concerns that AGI would pose catastrophic risks. In light of this, AGI companies need to drastically improve their risk management practices. To support such efforts, this paper reviews popular risk assessment techniques from other safety-critical industries and suggests ways in which AGI companies could use them to assess catastrophic risks from AI. The paper discusses three risk identification techniques (scenario analysis, fishbone method, and risk typologies and taxonomies), five risk analysis techniques (causal mapping, Delphi technique, cross-impact analysis, bow tie analysis, and system-theoretic process analysis), and two risk evaluation techniques (checklists and risk matrices). For each of them, the paper explains how they work, suggests ways in which AGI companies could use them, discusses their benefits and limitations, and makes recommendations. Finally, the paper discusses when to conduct risk assessments, when to use which technique, and how to use any of them. The reviewed techniques will be obvious to risk management professionals in other industries. And they will not be sufficient to assess catastrophic risks from AI. However, AGI companies should not skip the straightforward step of reviewing best practices from other industries.

연구 동기 및 목표

• 사회적이고 확률은 낮지만 영향이 큰 위험을 다루는 다른 산업의 적합한 위험 평가 기법을 식별한다.
• AGI 기업이 AI 수명주기(배포 전부터 모니터링까지)에 걸쳐 이러한 기법을 어떻게 적용할 수 있는지 설명한다.
• AGI 맥락에서 이러한 기법의 이점, 한계, 실행 시 고려 사항을 평가한다.
• 다양한 기법을 언제, 어떻게 결합해 포괄적 위험 파악을 얻을지 권고한다.
• 전통적 위험 평가와 AI-특화 평가의 통합 필요성을 강조한다.

제안 방법

• IEC 31010:2019 및 재무, 항공, 원자력, 생물실험실의 문헌에 기초해 기법을 선택한다.
• 사회적 영향, 꼬리 위험, AI 재앙에의 적용 가능성에 대한 기준으로 기법을 필터링한다.
• 기법을 위험 식별, 분석, 평가 범주로 분류한다.
• AGI 기업에 대한 실용적 사용법, 한계, 시나리오에 대한 가이드를 제공한다.

실험 결과

연구 질문

• RQ1 다른 산업에서 확립된 어떤 위험 평가 기법들이 AI의 재앙적 위험을 평가하는 데 적응될 수 있는가?
• RQ2 AGI 기업은 AI 시스템 수명주기 전반에 걸쳐 식별, 분석, 평가 기법을 어떻게 적용해야 하는가?
• RQ3 이들 기법의 AGI 안전 맥락에서의 이점, 한계 및 제약은 무엇인가?
• RQ4 더욱 강건한 위험 이해를 달성하기 위해 여러 기법을 어떻게 결합해야 하는가?

주요 결과

• 권장되는 세 가지 식별 기법: 시나리오 분석, 피시본 방법, 위험 유형 및 분류 체계를 포함한 기법들.
• 다섯 가지 분석 기법이 권장된다: 인과 매핑(Causal mapping), 델파이 기법(Delphi technique), 상호 영향 분석(Cross-impact analysis), 보 타이 분석(Bow Tie analysis), 시스템 이론적 프로세스 분석(STPA).
• 권장되는 두 가지 평가 기법: 체크리스트와 리스크 매트릭스가 권장된다.