[논문 리뷰] Impossibility Results in AI: A Survey

Mario Brčić, Roman V. Yampolskiy|arXiv (Cornell University)|2021. 09. 01.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 종합 검토는 인공지능 분야의 불가능성 정리들을 추론, 동일성 불가구분성, 귀납, 트레이드오프, 비처리 가능성의 다섯 가지 메커니즘 기반 분류로 나누며, AI의 안전성, 정렬, 통제 가능성에 대한 근본적인 한계를 부각한다. 이 문서는 추론의 불가능성으로 인해 100% 보안 보장을 확보할 수 없음을 강조하며, 설명 가능성의 부당성과 에이전트의 자각 가능성에 대한 제약 등 새로운 결과를 제시한다.

ABSTRACT

An impossibility theorem demonstrates that a particular problem or set of problems cannot be solved as described in the claim. Such theorems put limits on what is possible to do concerning artificial intelligence, especially the super-intelligent one. As such, these results serve as guidelines, reminders, and warnings to AI safety, AI policy, and governance researchers. These might enable solutions to some long-standing questions in the form of formalizing theories in the framework of constraint satisfaction without committing to one option. We strongly believe this to be the most prudent approach to long-term AI safety initiatives. In this paper, we have categorized impossibility theorems applicable to AI into five mechanism-based categories: deduction, indistinguishability, induction, tradeoffs, and intractability. We found that certain theorems are too specific or have implicit assumptions that limit application. Also, we added new results (theorems) such as the unfairness of explainability, the first explainability-related result in the induction category. The remaining results deal with misalignment between the clones and put a limit to the self-awareness of agents. We concluded that deductive impossibilities deny 100%-guarantees for security. In the end, we give some ideas that hold potential in explainability, controllability, value alignment, ethics, and group decision-making. They can be deepened by further investigation.

연구 동기 및 목표

• 추론, 귀납, 비처리 가능성 등의 기초 메커니즘을 바탕으로 AI 분야의 불가능성 정리를 체계적으로 분류하는 것.
• 특히 초지능 시스템을 대상으로 하여 AI 안전성, 정렬, 통제 가능성의 내재적 한계를 식별하고 형식화하는 것.
• 설명 가능성의 부당성과 에이전트 자각 가능성에 대한 제약 등 부족하게 다뤄지거나 최근 유도된 결과를 부각하는 것.
• 특정 솔루션에 사전에 commitment하지 않는 제약 만족 프레임워크를 제공함으로써 장기적 AI 안전성 이니셔티브를 이끄는 것.
• 형식화된 불가능성 제약 하에서 설명 가능성, 가치 정렬, 윤리, 집단 의사결정에 대한 추가 연구를 자극하는 것.

제안 방법

• 저자들은 기존의 불가능성 정리를 다섯 가지 메커니즘 기반 카테고리—추론, 동일성 불가구분성, 귀납, 트레이드오프, 비처리 가능성—으로 분류한다.
• 기존 정리의 가정과 적용 범위를 분석하여, 광범위한 적용에 제한을 받는 너무 구체적이거나 암묵적인 가정에 기반한 정리를 식별한다.
• 이 논문은 귀납 카테고리에서 설명 가능성에 대한 새로운 이론적 불가능성 결과를 도입한다.
• 에이전트 복제와 자기 복제가 자각 가능성에 미치는 영향을 검토하여, 이러한 능력에 내재된 한계를 보여준다.
• 이 프레임워크는 제약 만족 기반으로 설계되어 특정 AI 아키텍처나 안전 메커니즘에 commitment하지 않으면서 이론을 형식화할 수 있도록 한다.
• 이론적 분석은 AI 안전성, 윤리, 거버넌스 분야의 문헌에서 103개의 참고문헌을 포괄적으로 검토함으로써 뒷받침된다.

실험 결과

연구 질문

• RQ1 불가능성 정리가 초지능 AI의 안전하고 통제 가능한 개발에 끼치는 근본적 한계는 무엇인가?
• RQ2 어떻게 추론의 불가능성이 AI 보안 및 정렬의 100% 보장을 방해하는가?
• RQ3 귀납 카테고리에서 새로운 불가능성 결과로 형식화된 설명 가능성의 개념은 어떤 내재적 한계를 지닌다?
• RQ4 복제와 자기 복제가 지능형 에이전트의 자각 가능성에 얼마나 깊이 제약을 가하는가?
• RQ5 제약 만족 프레임워크는 특정 솔루션을 사전에 정의하지 않고 AI 안전성 이론을 어떻게 형식화하는 데 사용할 수 있는가?

주요 결과

• 추론의 불가능성은 AI 시스템에서 100% 보장 가능한 보안을 본질적으로 방해하므로, 검증 가능한 안전성의 근본적 상한선을 설정한다.
• 이 논문은 인공지능에서 귀납적 추론의 맥락에서 설명 가능성의 본질적 부당성을 보여주는 새로운 불가능성 결과를 제시한다.
• 에이전트가 복제될 경우 자각 가능성에 대한 제약가 발생하여, 그러한 시스템에서 완전한 자각 가능성은 달성될 수 없다.
• 많은 기존 불가능성 정리는 너무 구체적이거나 일반적 적용에 제한을 받는 암묵적 가정에 기반하여, AI 안전성에 대한 광범위한 적용에 한계가 있다.
• 제약 만족 프레임워크는 특정 아키텍처나 정렬 접근 방식에 commitment하지 않으면서도 AI 안전성 이론을 형식화하는 데 실현 가능한 길을 제공한다.
• 이 종합 검토는 설명 가능성, 통제 가능성, 가치 정렬, 윤리, 집단 의사결정 분야에서 형식화된 불가능성 결과를 바탕으로 한 유망한 연구 방향을 식별한다.