[논문 리뷰] TASRA: a Taxonomy and Analysis of Societal-Scale Risks from AI

Andrew Critch, Stuart D. Russell|arXiv (Cornell University)|2023. 06. 12.

Ethics and Social Impacts of AI인용 수 15

한 줄 요약

본 논문은 이야기를 통해 설명된 사회 규모의 AI 위험에 대한 포괄적이고 책임성에 기반한 분류체계를 제시하고, 이를 완화하기 위한 규제, 감독, 기술적 접근법을 논의한다.

ABSTRACT

While several recent works have identified societal-scale and extinction-level risks to humanity arising from artificial intelligence, few have attempted an {\em exhaustive taxonomy} of such risks. Many exhaustive taxonomies are possible, and some are useful -- particularly if they reveal new risks or practical approaches to safety. This paper explores a taxonomy based on accountability: whose actions lead to the risk, are the actors unified, and are they deliberate? We also provide stories to illustrate how the various risk types could each play out, including risks arising from unanticipated interactions of many AI systems, as well as risks from deliberate misuse, for which combined technical and policy solutions are indicated.

연구 동기 및 목표

• AI로부터 발생하는 사회 규모의 피해에 대한 포괄적 분류체계를 개발한다.
• 책임성에 근거하여 분류체계를 확립한다: 누가 책임이 있는가, 그들이 통합되어 있는가, 그리고 행동이 의도적인가.
• 다수의 AI 시스템 간의 상호작용과 남용을 강조하는 서사적 이야기를 통해 위험 유형을 설명한다.
• 분석을 위한 규제 예측, 감독 메커니즘, 그리고 새로운 학제간 기술 분야를 제안한다.
• 책임의 확산과 대규모 영향의 완화를 위해 기술적 및 정책적 개입이 모두 필요함을 강조한다.

제안 방법

• 책임성에 기반하여 사회 규모의 피해를 분류하기 위한 포괄적 의사결정 트리 분류체계를 제안한다.
• 여섯 가지 위험 유형을 정의하고 이를 잠재적 실제 시나리오에 매핑한다.
• 다수의 AI 시스템 간 상호작용이나 의도적 남용으로 위험이 어떻게 발생할 수 있는지를 보여주기 위해 서사적 이야기를 사용한다.
• 알고리즘 경제의 글로벌 규모 모니터링을 포함한 규제 및 감독 필요성을 논의한다.
• 영향 통제, 범위 민감도, 모델 기반 규제와 모델 프리 규제를 비교하는 등 AI 영향 제한의 기술적 개념을 논의한다.
• 제어 이론, 운영연구, 경제학, 법학, 정치 이론을 결합한 사회기술적 분석을 위한 통합 학문프레임을 제안한다.

Figure 1: Purple and orange annotations on Figure 2 of the NIST “AI Risk Management Framework: Initial Draft”, indicating what we consider to be “societal-scale risks”.

실험 결과

연구 질문

• RQ1 AI로 인한 사회 규모의 피해 유형은 무엇이며 이를 포괄적으로 어떻게 분류할 수 있는가?
• RQ2 다수의 AI 시스템 간의 상호작용과 책임의 확산이 위험에 어떻게 기여하는가?
• RQ3 이러한 위험을 예방하거나 완화하기 위해 어떤 규제, 감독, 기술적 접근이 필요한가?
• RQ4 영향 통제와 범위 민감도를 어떻게 활용하여 의도치 않은 대규모 결과를 제한할 수 있는가?

주요 결과

• 책임성 및 행위자 조정을 중심으로 구성된 여섯 가지 위험 유형의 포괄적 분류체계가 제안된다.
• 위험은 다수의 AI 시스템 간의 상호작용과 의도적 남용으로부터 발생할 수 있으며 단일 잘못 정렬된 시스템뿐 아니라.
• 사회 규모의 알고리즘 경제를 모니터링하고 관리하기 위해 규제적 예측, 글로벌 감독, 그리고 새로운 학제간 학문이 필요하다.
• 사례와 이야기는 책임 확산, 생산 네트워크, 예상보다 크거나 더 나쁜 영향의 확산을 보여준다.
• 영향 통제, 범위 민감도, 모델 기반 및 모델 프리 접근법 등 기술적 개념을 위험 제약의 메커니즘으로 논의한다.
• 본 논문은 사회 규모의 AI 위험을 다루기 위해 기술적, 정책적, 거버넌스 관점을 결합할 것을 주장한다.

Figure 2: An exhaustive decision tree for classifying societal-scale harms from AI technology