[논문 리뷰] Toward Idealized Decision Theory

Nate Soares, Benja Fallenstein|arXiv (Cornell University)|2015. 07. 07.

Complex Systems and Decision Making참고 문헌 22인용 수 27

한 줄 요약

이 논문은 현재의 의사결정 이론—증거 기반 및 인과 기반 이론—이 초지능 시스템을 위한 견고한 기반을 제공하지 못함을 주장하며, 대신 이상화된 의사결정은 논리적 조건부 가정과 정책 선택 이론이 필요하다고 제안한다. 이는 결정론적이고 복잡한 환경에서 합리적 의사결정을 형식화하는 데 있어 업데이트되지 않은 의사결정 이론(UDT)이 유망한 길임을 시사한다.

ABSTRACT

This paper motivates the study of decision theory as necessary for aligning smarter-than-human artificial systems with human interests. We discuss the shortcomings of two standard formulations of decision theory, and demonstrate that they cannot be used to describe an idealized decision procedure suitable for approximation by artificial systems. We then explore the notions of policy selection and logical counterfactuals, two recent insights into decision theory that point the way toward promising paths for future research.

연구 동기 및 목표

• 기존의 의사결정 이론—증거 기반 및 인과 기반 이론—이 초지능 시스템을 위한 이상화된 의사결정 절차를 기술하는 데에 한계가 있음을 규명하는 것.
• 대체로 조건부 추론의 형식적 이론이 없이서는 실제 세계의 의사결정에서 높은 신뢰도를 가진 히ュ리스틱을 정당화하는 것이 불가능하다는 것을 주장하는 것.
• 강건하고 인간 중심의 인공지능 설계를 이끌 수 있는 원칙적인 이상화된 의사결정 절차의 필요성을 정당화하는 것.
• 미래의 의사결정 이론 연구의 기초가 되는 정책 선택과 논리적 조건부 가정을 탐색하는 것.
• 고급 AI를 위한 실용적 의사결정 알고리즘 개발에 정보를 제공할 수 있는 '좋은 결정'에 대한 형식적 이해를 마련하는 것.

제안 방법

• 환경과 에이전트에 대한 완전한 지식을 전제로, 기대 효용을 기반으로 최선의 정책을 선택하는 형식적 이상화된 의사결정 절차를 제안한다.
• 에이전트가 행동 a를 취한다는 사건에 조건을 두어 증거 기반 의사결정 이론(EDT)을 분석하며, 행동이 세계 상태에 논리적으로 묶여 있을 경우의 비현실적인 상관관계로 인해 결정론적 환경에서 실패함을 보여준다.
• 행동에 대한 간섭을 모델링하여 인과 기반 의사결정 이론(CDT)을 분석하며, 자기 참조적 및 논리적 의존성 문제로 인해 문제가 있음을 드러낸다.
• 결정론적 시스템에서도 논리적으로 결정된 행동이 다를 경우 어떤 일이 일어날지 평가하기 위해 논리적 조건부 가정의 개념을 도입한다.
• 행동 선택보다 정책 선택을 지지하며, 에이전트의 전체 의사결정 규칙을 선택 단위로 간주한다.
• 모든 가능한 세계에서 기대 효용을 기반으로 정책을 선택하는 프레임워크로서 업데이트되지 않은 의사결정 이론(UDT)을 제안한다.

실험 결과

연구 질문

• RQ1 왜 표준 의사결정 이론인 EDT와 CDT는 결정론적이고 초지능적인 시스템을 위한 이상화된 의사결정 절차를 기술하지 못하는가?
• RQ2 단 한 가지 행동만 실제로 취해지는 결정론적 환경에서, 조건부 추론을 어떻게 형식화할 수 있는가?
• RQ3 에이전트의 결정과 세계 상태 사이의 논리적 의존성을 어떻게 다룰 수 있는가? 특히 에이전트가 논리적으로 알 수 있을 경우에 대해.
• RQ4 행동 선택 대신 전체 의사결정 규칙을 선택하는 정책 선택 방식이 전통적 의사결정 이론의 모순을 해결할 수 있는가?
• RQ5 논리적 불확실성과 자기 참조 상황에서 라이프라인 의사결정을 가능하게 하는 논리적 조건부 가정의 역할은 무엇인가?

주요 결과

• 증거 기반 의사결정 이론(EDT)은 결정론적 환경에서 실패한다. '나는 행동 a를 취한다'는 조건부에 기반할 경우, 특히 행동이 세계 상태에 논리적으로 묶여 있을 경우 비현실적인 상관관계가 발생하기 때문이다.
• 인과 기반 의사결정 이론(CDT)은 자기 참조 문제로 곤경에 빠지며, 뉴콤의 역설처럼 정확한 행동이 논리적 예측에 의존할 경우 논리적 의존성을 다루지 못한다.
• 이 논문은 표준 조건부 가정이 결정론적 에이전트가 다른 행동을 취했을 경우 어떤 일이 일어날지 기술하는 데에 부적절하다는 것을 입증한다.
• 정책 선택은 행동 기반 의사결정 이론의 문제를 해결하며, 에이전트의 전체 의사결정 규칙을 평가 단위로 간주함으로써, 복잡한 환경에서의 합리적 선택과 더 잘 일치한다.
• 논리적 조건부 가정은 물리적으로 불가능하더라도 논리적으로 가능하다고 간주함으로써, 결정론적 시스템에서 실제 일어나지 않은 행동에 대해 추론할 수 있는 프레임워크를 제공한다.
• 업데이트되지 않은 의사결정 이론(UDT)은 모든 가능한 세계에서의 기대 효용을 기반으로 정책을 선택함으로써, EDT와 CDT의 함정을 피하는 데 있어 매우 유망한 대안으로 부상한다.