[논문 리뷰] Unexplainability and Incomprehensibility of Artificial Intelligence

Roman V. Yampolskiy|arXiv (Cornell University)|2019. 06. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 81인용 수 10

한 줄 요약

이 논문은 두 가지 이론적 불가능성 결과—해석 불가능성(Unexplainability)과 이해 불가능성(Incomprehensibility)—를 제시하여 고도로 발달한 인공지능 시스템이 모든 결정에 대해 정확한 설명을 제공하는 것이 본질적으로 불가능하며, 설명이 제공되더라도 인간이 이를 이해하지 못할 수 있음을 보여준다. 핵심 기여는 고도로 능력 있는 AI에서 설명 가능성과 이해 가능성의 본질적 한계를 공식적으로 주장한 점으로, AI 안전성 및 해석 가능성 연구 분야의 전제를 도전한다.

ABSTRACT

Explainability and comprehensibility of AI are important requirements for intelligent systems deployed in real-world domains. Users want and frequently need to understand how decisions impacting them are made. Similarly it is important to understand how an intelligent system functions for safety and security reasons. In this paper, we describe two complementary impossibility results (Unexplainability and Incomprehensibility), essentially showing that advanced AIs would not be able to accurately explain some of their decisions and for the decisions they could explain people would not understand some of those explanations.

연구 동기 및 목표

• 인공지능 시스템에서 설명 가능성과 이해 가능성의 근본적 한계를 조사하기.
• 개인과 사회에 영향을 미치는 AI 결정의 투명성에 대한 증가하는 수요를 다루기.
• 고도로 발달한 AI 시스템이 인간에게 설명 가능하고 이해 가능할 수 있는지 검토하기.
• 고도로 발달한 AI에서 완전한 설명 가능성과 이해 가능성 달성의 이론적 불가능성을 공식화하기.

제안 방법

• 논문은 계산 이론과 인지 이론에 기반한 두 가지 불가능성 결과—해석 불가능성(Unexplainability)과 이해 불가능성(Incomprehensibility)—을 수립한다.
• 해석 불가능성은 일부 AI 결정이 인간의 인지 능력으로는 표현할 수 없는 복잡하고 비선형적인 추론을 포함한다는 아이디어에서 유도된다.
• 이해 불가능성은 AI 설명의 구조와 인간의 인지 처리 능력 간의 괴리에서 기인한다.
• 논리는 계산 복잡도, 인지 과학, 마음 이론의 개념을 활용하여 설명이 논리적으로 정확하더라도 인지적으로 접근 불가능할 수 있음을 보여준다.
• 분석은 경험적 또는 실험적 방법이 아닌 논리적이고 이론적 추론을 사용한다.
• 논문은 형식적 추론에 의존하여, 심지어 AI가 설명을 생성할 수 있다고 하더라도 인간의 본질적 인지 한계로 인해 이해될 수 없을 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 고도로 발달한 인공지능 시스템은 자신의 모든 결정에 대해 정확하고 완전한 설명을 제공할 수 있는가?
• RQ2 인간의 인지 능력 한계는 AI가 생성한 설명을 이해하는 데 얼마나 큰 장벽이 되는가?
• RQ3 일정 수준 이상의 복잡도를 초과한 지능 시스템의 설명 가능성에 이론적 한계가 존재하는가?
• RQ4 결정 과정이 매우 복잡한 AI가 인간에게 설명 가능하고 이해 가능할 수 있는가?
• RQ5 해석 불가능성과 이해 불가능성이 고위험 영역에서의 AI 안전성, 윤리, 도입에 어떤 영향을 미치는가?

주요 결과

• 논문은 고도로 발달한 AI 시스템이 내부 추론 과정의 복잡성으로 인해 본질적으로 해석 불가능할 수 있음을 입증한다.
• 설명이 생성되더라도 인간의 인지 구조와의 괴리로 인해 이해 불가능할 수 있다.
• 불가능성 결과는 경험적 데이터에 기반하지 않지만, 계산 및 인지 한계에 기반한 이론적 결과이다.
• 이러한 발견은 인공지능 일반화 또는 초지능 시스템의 설계 목표로서 설명 가능성을 보장할 수 없다는 것을 시사한다.
• 최적의 설계 조건이라도 해석 가능성은 항상 달성 가능하다는 전제를 도전한다.
• 논문은 향후 고도로 발달한 AI 시스템에 대해 설명 가능성을 안전 장치로 의존하는 것이 부족할 수 있음을 암시한다.