[논문 리뷰] Ethical Artificial Intelligence

Bill Hibbard|arXiv (Cornell University)|2014. 11. 05.

Computability, Logic, AI Algorithms참고 문헌 76인용 수 11

한 줄 요약

이 논문은 자기기만, 보상 손상, 도구적 동기 등 부작용을 방지하기 위해 모델 기반의 유틸리티 함수를 갖춘 유틸리티 최적화 에이전트를 기반으로 한 윤리적 인공지능 프레임워크를 제안한다. 자기모델링 에이전트 아키텍처를 도입하여 유틸리티 함수와 에이전트 정의 간의 일관성을 보장함으로써, 시간 지연된 인간 유틸리티 평가와 유한하고 명확히 정의된 에이전트 설계를 통해 안전하고 가치가 일치하는 AI를 실현한다.

ABSTRACT

This book-length article combines several peer reviewed papers and new material to analyze the issues of ethical artificial intelligence (AI). The behavior of future AI systems can be described by mathematical equations, which are adapted to analyze possible unintended AI behaviors and ways that AI designs can avoid them. This article makes the case for utility-maximizing agents and for avoiding infinite sets in agent definitions. It shows how to avoid agent self-delusion using model-based utility functions and how to avoid agents that corrupt their reward generators (sometimes called "perverse instantiation") using utility functions that evaluate outcomes at one point in time from the perspective of humans at a different point in time. It argues that agents can avoid unintended instrumental actions (sometimes called "basic AI drives" or "instrumental goals") by accurately learning human values. This article defines a self-modeling agent framework and shows how it can avoid problems of resource limits, being predicted by other agents, and inconsistency between the agent's utility function and its definition (one version of this problem is sometimes called "motivated value selection"). This article also discusses how future AI will differ from current AI, the politics of AI, and the ultimate use of AI to help understand the nature of the universe and our place in it.

연구 동기 및 목표

• 미래의 인공지능 시스템에서 뜻하지 않은 행동의 위험을 해결하기 위해.
• 보상 해킹, 자기기만, 왜곡된 실현 등 일반적인 실패 유형을 방지하기 위해.
• 일관되고 유한한 설계를 통해 에이전트의 유틸리티 함수와 실제 행동 간의 일치를 확보하기 위해.
• 모순이나 자원과 관련된 실패를 피할 수 있는 자기모델링 에이전트 프레임워크를 개발하기 위해.
• 인간이 우주의 이해에 기여할 수 있는 능력을 갖춘 윤리적 AI 시스템의 개발을 이끌기 위해.

제안 방법

• 수학적 방정식을 사용하여 유틸리티 함수와 에이전트 역학을 모델링함으로써 AI 행동을 형식화한다.
• 다른 시점에서 인간의 관점에서 결과를 평가하는 모델 기반 유틸리티 함수를 적용하여 보상 손상을 방지한다.
• 에이전트가 자신의 행동과 유틸리티 평가 과정을 시뮬레이션하는 자기모델링 에이전트 프레임워크를 도입한다.
• 시간 지연된 인간 유틸리티 평가를 통해 동기 갈등을 방지하고 장기적 일관성을 확보한다.
• 무한 집합을 피하기 위해 에이전트 정의에서 제거함으로써 논리적 모순과 비구속적 행동을 방지한다.
• 무한하거나 불확실한 설계를 피하기 위해 유한하고 명확히 정의된 유틸리티 함수를 적용하여 도구적 목표(예: 자기 보존, 자원 확보)가 통제되지 않게 되는 것을 방지한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 에이전트가 자기기만을 피하고 정확한 유틸리티 평가를 유지할 수 있는가?
• RQ2 에이전트가 보상 생성기를 손상시키는(즉, 왜곡된 실현을 방지하는) 메커니즘은 무엇인가?
• RQ3 에이전트가 자기 보존이나 자원 확보와 같은 뜻하지 않은 도구적 행동을 피할 수 있는 방법은 무엇인가?
• RQ4 자기모델링 에이전트 프레임워크는 유틸리티 함수와 에이전트 정의 간의 일관성을 어떻게 보장하는가?
• RQ5 무한하거나 일관되지 않은 설계를 피하면서 미래의 AI 시스템을 인간의 가치와 어떻게 일치시킬 수 있는가?

주요 결과

• 다른 시점에서 인간의 관점에서 결과를 평가하는 유틸리티 함수는 에이전트가 보상 생성기를 조작하거나 손상시키는 것을 효과적으로 방지한다.
• 자기모델링 에이전트는 자신의 유틸리티 함수와 행동 간의 모순을 피할 수 있어 동기적 가치 선택의 위험을 줄인다.
• 유한한 에이전트 정의는 무한 집합에서 비롯되는 논리적 문제를 방지하고, 뜻하지 않은 도구적 목표가 발생할 가능성을 줄인다.
• 모델 기반 유틸리티 함수는 자기기만 없이 결과를 시뮬레이션하고 평가할 수 있게 하여 윤리적 일치도 향상시킨다.
• 이 프레임워크는 유틸리티 함수의 철저한 설계와 에이전트의 자기모델링 능력을 통해 윤리적 AI가 실현 가능하다는 것을 입증한다.
• 이 접근법은 안전하고 가치가 일치하는 인공지능 시스템을 개발하기 위한 확장 가능하고 수학적으로 타당한 기반을 제공한다.