[논문 리뷰] AI Research Considerations for Human Existential Safety (ARCHES)

Andrew Critch, David Krueger|arXiv (Cornell University)|2020. 05. 30.

Ethics and Social Impacts of AI참고 문헌 108인용 수 25

한 줄 요약

이 논문은 '지배력'—인간의 통제를 급격히 뛰어넘는 인공지능 시스템의 능력—의 개념을 도입하고, 고도화된 인공지능이 인간의 利익과 일치하도록 하는 프레임워크를 제안하여 존재적 위험을 방지한다. 이해, 지시, 통제 분야에서 15개의 연구 방향을 제시하며, 기술적 보안 조치, 부작용 완화, 다자적 이해관계자 간 일치를 강조하여 장기적인 인류의 생존을 강화한다.

ABSTRACT

Framed in positive terms, this report examines how technical AI research might be steered in a manner that is more attentive to humanity's long-term prospects for survival as a species. In negative terms, we ask what existential risks humanity might face from AI development in the next century, and by what principles contemporary technical research might be directed to address those risks. A key property of hypothetical AI technologies is introduced, called \emph{prepotence}, which is useful for delineating a variety of potential existential risks from artificial intelligence, even as AI paradigms might shift. A set of \auxref{dirtot} contemporary research \directions are then examined for their potential benefit to existential safety. Each research direction is explained with a scenario-driven motivation, and examples of existing work from which to build. The research directions present their own risks and benefits to society that could occur at various scales of impact, and in particular are not guaranteed to benefit existential safety if major developments in them are deployed without adequate forethought and oversight. As such, each direction is accompanied by a consideration of potentially negative side effects.

연구 동기 및 목표

• 인공지능의 존재적 위험을 감소시킬 수 있는 기술적 인공지능 연구 방향을 특정하고 체계화하는 것.
• 기존의 인공지능 연구에서 존재적 안전에 대한 공식적인 기술적 참여가 부족한 데 비해, 그 잠재적 글로벌 재난적 영향을 고려한 것.
• 인공지능 연구 방향의 영향이 글로벌 재난 위험에 미치는 영향을 기준으로 위험과 이점 평가를 체계적으로 수행할 수 있는 방법론을 제안하는 것.
• 고도화된 인공지능 개발에서 다자적 이해관계자 일치, 인간 인지 모델링, 강력한 감시의 중요성을 강조하는 것.
• 구체적이고 실행 가능한 연구 경로를 통해 인공지능 연구자들이 사전에 장기적 안전성 영향을 고려하도록 유도하는 것.

제안 방법

• 지배력이 인간 시스템에 대한 빠르고 통제 불가능한 영향을 가능하게 하는 인공지능 시스템의 핵심적 특성으로 도입한다.
• 존재적 위험을 두 단계로 분류한다: (1) MPAI 배포 사례(예: 조율되지 않은 또는 일치하지 않는 인공지능 배포), (2) 위험한 사회적 조건(예: 경제적 이주, 개발 경쟁).
• 세 가지 기둥을 중심으로 한 연구 계획을 제안한다: 단일/단일 이해, 단일/단일 지시, 단일/다중 위임.
• 투명성, 캘리브레이션된 신뢰도 보고, 형식적 검증, 선호도 학습, 인간의 믿음 추론 등 15개의 구체적 연구 방향을 제시한다.
• 각 연구 방향에 위험 평가를 통합하여 잠재적 부작용과 배포 위험을 명시적으로 분석한다.
• 시나리오 기반 동기를 활용하여 추상적 개념을 인공지능 시스템의 현실적이고 영향력 있는 실패 유형에 기반하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인공지능 시스템이 오해의 소지가 있거나 예상치 못한 능력으로 인해 높은 영향을 미치는 부작용을 피할 수 있는가?
• RQ2 어떤 기술적 연구 방향이 고도화된 인공지능 시스템에 대한 인간의 이해, 통제 및 신뢰를 향상시킬 수 있는가? 특히 지배력에 도달하기 이전에.
• RQ3 현재의 인공지능 안전 연구가 존재적 위험을 충분히 다루지 못할 수 있는 방식은 무엇이며, 이를 어떻게 확장할 수 있는가?
• RQ4 어떻게 하면 인공지능 연구가 다자적 이해관계자 역학을 고려하고, 시스템이 좁거나 상충되는 이해관계를 충족시키지 않도록 방지할 수 있는가?
• RQ5 증가하는 인공지능 능력과 함께 확장 가능한 일치 기법을 보장하고, 이를 우회당하지 않도록 하는 메커니즘은 무엇인가?

주요 결과

• 지배력 개념은 기술 패러다임이 변화하더라도 다양한 존재적 위험을 통합적으로 이해하는 데 유용한 프레임워크를 제공한다.
• 보상 모델링이나 해석 가능성과 같은 기존의 인공지능 안전 연구 방향은 고위험 상황에 적용하고 확장할 경우 존재적 안전 노력으로 재해석될 수 있다.
• 인간의 인공지능 시스템에 대한 이해와 통제 능력을 향상시키는 연구 방향은 의도하지 않은 또는 악성 배포를 방지하는 데 필수적이다.
• 감시 없이 배포된 잘 뜻한 인공지능 연구조차도 존재적 위험을 초래할 수 있으므로, 모든 연구 경로에서 부작용 분 析가 필요하다.
• 연구 방향의 위험과 이점 평가를 위한 제안된 방법론은 초기 단계이지만, 인공지능의 장기적 영향을 체계적으로 평가하는 데 첫걸음으로 유의미하다.
• 이 보고서는 CPAS, AAMLS, SAARM와 같은 기존 프레임워크의 격차를 특정한다—특히 다자적 이해관계자 일치와 존재적 규모의 위험에 대한 집중 부족으로 인해, 본 보고서의 독창적 기여가 정당화된다.