[논문 리뷰] Bad Universal Priors and Notions of Optimality

Jan Leike, Marcus Hütter|arXiv (Cornell University)|2015. 10. 16.

Computability, Logic, AI Algorithms참고 문헌 15인용 수 45

한 줄 요약

이 논문은 이론적으로 최적의 강화학습 에이전트인 AIXI가 특정 보편 타링 머신(UTM) 선택에 따라 극단적으로 성능이 떨어지는 것을 입증하며, 이는 AIXI의 주장된 최적성 성질을 뒤엎는다. 연구는 Legg-Hutter 지능과 균형 잡힌 파레토 최적성의 주관성과 UTM에 대한 의존성을 증명하며, AIXI가 보편적 지능 기준이 아니라 상대적인 이론임을 보여준다.

ABSTRACT

A big open question of algorithmic information theory is the choice of the universal Turing machine (UTM). For Kolmogorov complexity and Solomonoff induction we have invariance theorems: the choice of the UTM changes bounds only by a constant. For the universally intelligent agent AIXI (Hutter, 2005) no invariance theorem is known. Our results are entirely negative: we discuss cases in which unlucky or adversarial choices of the UTM cause AIXI to misbehave drastically. We show that Legg-Hutter intelligence and thus balanced Pareto optimality is entirely subjective, and that every policy is Pareto optimal in the class of all computable environments. This undermines all existing optimality properties for AIXI. While it may still serve as a gold standard for AI, our results imply that AIXI is a relative theory, dependent on the choice of the UTM.

연구 동기 및 목표

• 보편 타링 머신(UTM)의 선택과 무관하게 AIXI의 최적성 성질이 유지되는지 조사하기.
• 다양한 UTM에서 핵심 최적성 개념—예를 들어 균형 잡힌 파레토 최적성과 Legg-Hutter 지능—의 강건성을 평가하기.
• AIXI가 인공통합지능의 보편 기준임을 가정하는 것을 도전하며, UTM 선택에 대한 의존성을 드러내기.
• 모든 계산 가능한 환경의 클래스에서 모든 정책이 파레토 최적임을 입증하여, 표준 최적성 주장이 공허해지는 것을 보여주기.
• AIXI가 충분한 탐색을 하지 못해 나쁜 사전 확률에서 오는 지속적인 편향을 겪으며 이론적 최적성의 기반을 훼손한다는 주장을 펼치기.

제안 방법

• 특정 UTM을 사용하여 극단적인 에이전트 행동을 유도하는 두 가지 병리적 보편 사전—무관심 사전과 고집스러운 사전—을 구성하기.
• 유한 수명 주기 설정에서 무관심 사전 하에서 AIXI의 행동을 분석하여, 모든 행동이 동일하게 최적임을 보여주기.
• 고집스러운 사전 하에서 AIXI의 행동을 분석하여, 보상 감소가 너무 낮아지지 않는 한 고정된 정책을 고수함을 보여주기.
• Legg-Hutter 지능이 UTM 선택에 대해 불변이 아니며, AIXI가 UTM에 따라 임의로 낮거나 높은 점수를 얻을 수 있음을 증명하기.
• 모든 계산 가능한 환경의 클래스에서 모든 계산 가능한 정책이 파레토 최적임을 입증하여, 파레토 최적성이 비어나게 됨을 보여주기.
• 알고리즘 정보 이론의 불변성 정리와 대조하여, AIXI가 이러한 불변성 없음을 보여주며, 콜모고로프 복잡도와 솔로몬off 유도와의 대비를 이끌어내기.

실험 결과

연구 질문

• RQ1 AIXI의 최적성 성질은 보편 타링 머신(UTM)의 모든 선택에 대해 유지될 수 있는가?
• RQ2 Legg-Hutter 지능은 강건하고 객관적인 지능 측정 기준인가, 아니면 UTM 선택에 의존하는가?
• RQ3 AIXI가 극도로 잘못된 행동을 보일 수 있는 보편 사전이 존재하는가, 심지어 유한 수명 주기 설정에서도 말이다?
• RQ4 UTM가 적대적으로 선택된 경우 AIXI에 대해 균형 잡힌 파레토 최적성은 의미 있는 최적성 기준가 되는가?
• RQ5 모든 계산 가능한 정책이 모든 계산 가능한 환경의 클래스에서 파레토 최적으로 간주될 수 있는가, 이로 인해 개념이 비어나게 되는가?

주요 결과

• 유한 수명 주기 AIXI의 경우, 무관심 사전을 구성함으로써 모든 행동이 동일하게 선호되며, 완전한 결정 불능 상태가 발생한다.
• 모든 계산 가능한 정책 π에 대해, 고집스러운 사전을 구성함으로써 AIXI는 기대 보상이 너무 0에 가까워지지 않는 한 π 정책을 끝없이 고수한다.
• Legg-Hutter 지능은 UTM 선택에 대해 불변이 아니다: AIXI는 UTM에 따라 최소 또는 최대 지능에 매우 가까운 점수를 얻을 수 있다.
• 균형 잡힌 파레토 최적성은 주관적이다: AIXI는 모든 보편 사전에 대해 균형 잡힌 파레토 최적성이 아니다.
• 모든 계산 가능한 환경의 클래스에서 모든 계산 가능한 정책이 파레토 최적임을 입증하여, 이 개념이 비어나게 되며 이는 이전 AIXI의 우월성 주장에 대한 기반을 훼손한다.
• AIXI에 대해 불변성 정리가 존재하지 않으며, 콜모고로프 복잡도나 솔로몬off 유도와 달리, AIXI는 UTM 선택에 의존하는 상대적인 이론이다.