[논문 리뷰] Towards a Universal Theory of Artificial Intelligence based on Algorithmic Probability and Sequential Decision Theory

Marcus Hütter|ArXiv.org|2000. 12. 16.

Computability, Logic, AI Algorithms참고 문헌 15인용 수 4

한 줄 요약

이 논문은 알고리즘적 확률(소โล몬off 인도션)과 순차적 의사결정 이론을 기반으로 한 보편적인 인공지능 모델 AIξ를 제안한다. 이는 계산 가능한 환경에서 최적의 학습과 의사결정을 통합한다. 주요 기여는 파라미터가 없는 형식화된 최적의 AI 모델로서, 계산 가능한 근사치 AIξ^tl은 시간 및 공간에 제한된 에이전트보다 우월하며, 공간 상한에 대해 지수적 시간 복잡도를 가진다.

ABSTRACT

Decision theory formally solves the problem of rational agents in uncertain worlds if the true environmental probability distribution is known. Solomonoff's theory of universal induction formally solves the problem of sequence prediction for unknown distribution. We unify both theories and give strong arguments that the resulting universal AIXI model behaves optimal in any computable environment. The major drawback of the AIXI model is that it is uncomputable. To overcome this problem, we construct a modified algorithm AIXI^tl, which is still superior to any other time t and space l bounded agent. The computation time of AIXI^tl is of the order t x 2^l.

연구 동기 및 목표

• 보편적인 인공지능을 위한 단일 프레임워크로 의사결정 이론과 알고리즘적 확률을 통합한다.
• 사전 가정 없이 어떤 계산 가능한 환경에서나 최적으로 행동하는 형식화된 최적 에이전트 모델 AIξ를 정의한다.
• AIξ의 비계산 가능성 문제를 해결하기 위해, 시간 및 공간에 제한된 에이전트보다 증명 가능한 우월성을 보장하는 실용적인 근사치 AIξ^tl을 구축한다.
• 일반적인 AI 문제를 계산 질문으로 환원하여 이론적 분석과 향후 구현을 가능하게 한다.

제안 방법

• 행동-관측 순환을 통해 환경과 상호작용하는 합리적 에이전트를 형식화하며, 에이전트와 환경을 모두 튜링 기계로 모델링한다.
• 알려진 환경 분포 μ 하에서 예상 보상의 최대화를 목표로 하는 최적 정책을 제안하는 AIμ 모델을 도입한다.
• 소โล몬off의 알고리즘적 사전 ξ를 사용해 μ를 대체함으로써 보편적 AIξ 모델을 구성한다.
• 행동 및 관측 순서에 대한 Expectimax 스타일의 재귀 최적화를 통해 AIξ 모델을 유도한다.
• AIξ의 시간 및 공간에 제한된 근사치인 AIξ^tl을 구성하며, 계산 시간은 O(t·2^l)이다.
• 레빈 검색 기반의 순회를 사용해 시간 t 내에 길이 l 이내의 모든 프로그램을 평가하고, 가장 성능이 뛰어난 정책을 선택한다.

실험 결과

연구 질문

• RQ1 모든 계산 가능한 환경에서 최적의 학습과 의사결정을 통합할 수 있는 단일의 파라미터가 없는 모델이 존재하는가?
• RQ2 최적이고 보편적으로 적용 가능한 보편적 지능의 형식화된 수학적 엄밀한 정의가 존재하는가?
• RQ3 비계산 가능한 보편적 AI 모델을 효과적으로 근사화하면서도 최적성 보장을 유지할 수 있는가?
• RQ4 강화 학습 및 의사결정에서 보편성을 달성하는 데 드는 계산 비용은 얼마인가?

주요 결과

• AIξ 모델은 어떤 계산 가능한 환경에서나 형식적으로 최적이며, 환경에 대한 사전 가정 없이 미래 예상 보상을 최대화한다.
• AIξ^tl은 시간 t와 공간 l로 제한된 어떤 다른 에이전트보다 뛰어나며, 계산 시간은 O(t·2^l)이다.
• 모델은 일반적인 AI 문제를 계산 질문으로 환원하여, 문제의 도전을 설계에서 계산 가능성으로 이동시킨다.
• 추가 지식은 초기 입력을 통해 통합될 수 있으며, 하드코딩 없이도 효율적으로 적응한다.
• 통합 프레임워크 하에 시퀀스 예측, 전략적 게임, 함수 최소화, 지도 학습 문제에 대한 형식적 해결책을 제공한다.
• 비계산 가능성에도 불구하고 AIξ 모델은 보편적 지능의 이론적 기초를 제공하며, AIξ^tl은 구현을 위한 실질적인 첫걸음이다.