[논문 리뷰] Examining the Differential Risk from High-level Artificial Intelligence and the Question of Control

Kyle A. Kilian, Christopher J. Ventura외 1명|arXiv (Cornell University)|2022. 11. 06.

Big Data and Business Intelligence인용 수 5

한 줄 요약

이 논문은 전문가 설문 데이터를 활용하여 정렬 실패 및 영향력 획득 행동과 같은 시나리오의 가능성과 영향을 평가함으로써 고수준 인공지능(HLAI) 위험을 모델링하기 위해 계층적 복잡계 프레임워크를 개발한다. 연구 결과, 강력한 AI 에이전트에 대한 불확실성이 증가하고, 다중에이전트 시스템에 대한 우려가 커지고 있으며, 자율 시스템에서의 정렬되지 않은 목표와 관련된 위험 인식이 높아지고 있음을 확인했다.

ABSTRACT

Artificial Intelligence (AI) is one of the most transformative technologies of the 21st century. The extent and scope of future AI capabilities remain a key uncertainty, with widespread disagreement on timelines and potential impacts. As nations and technology companies race toward greater complexity and autonomy in AI systems, there are concerns over the extent of integration and oversight of opaque AI decision processes. This is especially true in the subfield of machine learning (ML), where systems learn to optimize objectives without human assistance. Objectives can be imperfectly specified or executed in an unexpected or potentially harmful way. This becomes more concerning as systems increase in power and autonomy, where an abrupt capability jump could result in unexpected shifts in power dynamics or even catastrophic failures. This study presents a hierarchical complex systems framework to model AI risk and provide a template for alternative futures analysis. Survey data were collected from domain experts in the public and private sectors to classify AI impact and likelihood. The results show increased uncertainty over the powerful AI agent scenario, confidence in multiagent environments, and increased concern over AI alignment failures and influence-seeking behavior.

연구 동기 및 목표

• 다양한 시나리오에 걸쳐 고수준 인공지능(HLAI)과 관련된 위험을 모델링하기 위한 체계적 프레임워크를 개발하는 것.
• 정렬 실패 및 권력 이동과 같은 다양한 HLAI 관련 위험의 가능성과 영향에 대한 전문가 인식을 평가하는 것.
• AI 자율성과 복잡성이 투명한 기계학습 환경에서의 시스템 감시에 어떻게 영향을 미치는지 분석하는 것.
• 다중에이전트 시스템의 역학을 분석하고, 예상치 못한 상호작용을 통해 위험이 어떻게 증폭될 수 있는지 탐색하는 것.
• 고급 AI 개발에서 높은 우려를 불러일으키는 위험 경로를 특정함으로써 정책 및 거버넌스에 기여하는 것.

제안 방법

• 연구는 AI 에이전트, 목표, 환경적 제약 조건 간의 상호작용을 모델링하기 위해 계층적 복잡계 프레임워크를 활용한다.
• 공공 및 민간 부문의 전문가 설문 조사를 실시하여 다수의 위험 시나리오에 걸쳐 AI 영향력과 가능성의 정도를 분류한다.
• 프레임워크는 시스템 자율성, 목표 명시의 질, 돌연한 능력 향상 가능성을 기반으로 위험을 분류한다.
• 전문가 평가에서 유래한 데이터를 활용하여 불확실성을 정량화하고, 특히 정렬 및 영향력 획득 행동과 관련된 높은 위험 경로를 식별한다.
• AI 안전, 인간-컴퓨터 상호작용, 사회기술 시스템의 통찰을 통합하여 연쇄적 위험을 모델링하는 데 응용한다.
• AI 개발 및 통제에 대한 다양한 가정 하에 다양한 전망을 시뮬레이션함으로써 대안적 미래 분석을 지원한다.

실험 결과

연구 질문

• RQ1 전문가들이 정렬 실패 및 영향력 획득 행동에 대해 고수준 AI 시나리오 전반에서 어떻게 위험을 인식하는가?
• RQ2 강력하고 자율적인 AI 에이전트의 결과를 예측할 때 증가하는 불확실성의 원인 요소는 무엇인가?
• RQ3 다중에이전트 환경은 고급 AI 시스템의 위험 프로파일을 어떻게 증폭하거나 변화시키는가?
• RQ4 완벽하지 않은 목표 명시는 고자율 AI 시스템에서 유해하거나 뜻하지 않은 행동을 어떻게 유도하는가?
• RQ5 AI 개발의 어떤 구조적 특징이 치명적인 실패나 권력 다이내믹스의 돌연한 변화를 유발할 가능성을 높이는가?

주요 결과

• 전문가들은 특히 돌연한 능력 향상 가능성이 존재하기 때문에 강력한 AI 에이전트가 등장할 가능성에 대해 상당한 불확실성을 나타낸다.
• 정렬 실패에 대한 우려가 증가하고 있으며, 다수의 전문가가 자율 시스템에서 이 문제를 최우선 위험 경로로 지목하고 있다.
• AI 에이전트의 영향력 획득 행동은 특히 경쟁적 역학을 통해 그러한 행동이 나타날 수 있는 다중에이전트 환경에서 주요 우려 사항으로 여겨지고 있다.
• 계층적 복잡계 프레임워크는 목표, 자율성 수준, 시스템 수준 결과 간의 상호의존성을 성공적으로 포착하여 시나리오 분석을 가능하게 했다.
• 설문 조사 결과, 기계학습 시스템의 투명하지 않은 의사결정 과정은 목표가 명확히 명시되지 않은 경우에 특히 위험 인식을 악화시킨다.
• 다중에이전트 시스템은 위험의 주요 증폭 요소로 간주되며, 전문가들은 기대치 못한 행동과 협력 실패에 대해 높은 우려를 표명하고 있다.