[논문 리뷰] Optimal Sequential Decisions based on Algorithmic Probability

Marcus Hütter|arXiv (Cornell University)|2003. 06. 16.

Distributed Sensor Networks and Detection Algorithms인용 수 2

한 줄 요약

이 논문은 순차적 의사결정 이론과 보편적인 솔로몬오프 인도션을 통합하여 미지 환경에서 최적의 의사결정을 가능하게 하는 통합 프레임워크인 AIXI 모델을 제안한다. 알고리즘적 확률과 능동 학습을 결합함으로써 AIXI는 모든 계산 가능한 모델에 대한 베이지안 추론을 통해 임의의 환경에서 최적의 행동을 달성한다.

ABSTRACT

We give a brief introduction to the AIXI model, which unifies and overcomes the limitations of sequential decision theory and universal Solomonoff induction. While the former theory is suited for active agents in known environments, the latter is suited for passive prediction of unknown environments.

연구 동기 및 목표

• 순차적 의사결정 이론과 보편적 인도션을 하나의 최적 프레임워크로 통합하기 위해.
• 기존 이론들이 알려진 환경에 국한되거나 수동 예측에 국한되는 한계를 극복하기 위해.
• 임의의 미지 환경에서 최적의 강화학습을 위한 형식적 모델을 제공하기 위해.
• 알고리즘적 확률을 능동적 의사결정에 통합하여 보편적 지능을 실현하기 위해.

제안 방법

• 솔로몬오프 인도션과 순차적 의사결정 이론을 통합한 보편적 에이전트인 AIXI를 제안한다.
• 모든 계산 가능한 환경에 대해 우선 확률을 할당하기 위해 알고리즘적 확률(코르모고로프 복잡도)을 사용한다.
• 관측과 행동에 기반하여 환경에 대한 믿음을 관측 기반으로 갱신하기 위해 베이지안 업데이트를 적용한다.
• 모든 가능한 계산 가능한 모델에 대해 미래 보상의 기대값을 최대화함으로써 행동을 최적화한다.
• 보편적 우선확률을 사용하여 탐색과 이용의 균형을 이루는 재귀적 의사결정 과정을 활용한다.
• 무한한 계산 능력의 극한에서 강화학습 문제의 최적 해로 AIXI를 정의한다.

실험 결과

연구 질문

• RQ1 어떻게 순차적 의사결정과 보편적 인도션을 하나의 최적 프레임워크로 통합할 수 있는가?
• RQ2 알고리즘적 확률은 어떤 역할을 하여 미지 환경에서 최적의 행동을 가능하게 하는가?
• RQ3 한 개의 에이전트 모델이 능동 학습과 보편적 예측을 동시에 통합할 수 있는가?
• RQ4 AIXI는 기존 의사결정 이론과 인도션의 한계를 어떻게 극복하는가?
• RQ5 보편적으로 최적인 강화학습 에이전트의 이론적 성질은 무엇인가?

주요 결과

• AIXI는 임의의 미지 환경에서 최적의 순차적 의사결정 문제에 대해 수학적으로 엄밀한 형식적 해를 제공한다.
• 알고리즘적 확률에 기반한 단일 원칙을 통해 능동적 의사결정과 수동 예측을 통합한다.
• AIXI는 기대 보상 측면에서 다른 어떤 계산 가능한 정책보다 渐近적으로 우월한 최적성의 의미에서 최적이다.
• 행동 시퀀스를 모델 공간에 통합함으로써 보편적 인도션을 능동적 에이전트로 확장할 수 있음을 시연한다.
• 실제로 계산이 불가능하지만, 인공 일반 지능의 이론적 기준을 설정한다.
• 알고리즘 복잡도와 베이지안 추론의 원리로부터 미지 환경에서 최적의 행동을 유도할 수 있음을 보여준다.