[논문 리뷰] Asymptotically Optimal Agents

Tor Lattimore, Marcus Hütter|arXiv (Cornell University)|2011. 07. 27.

Computability, Logic, AI Algorithms참고 문헌 7인용 수 9

한 줄 요약

이 논문은 결정론적 계산 가능한 환경에서 渐近적으로 최적의 에이전트의 존재를 조사하며, 渐近적 최적성의 강한 형태와 약한 형태를 정의한다. 연구는 계산 가능한 에이전트가 강한 渐近적 최적성일 수 없음을 증명하지만, 기하 감소 할인 함수와 같은 특정 할인 함수에서는 탐색과 이용의 균형을 이루기 위해 특화된 탐색 스케줄을 사용함으로써 비계산 가능한 약한 渐近적 최적성 에이전트가 존재함을 보여준다.

ABSTRACT

Artificial general intelligence aims to create agents capable of learning to solve arbitrary interesting problems. We define two versions of asymptotic optimality and prove that no agent can satisfy the strong version while in some cases, depending on discounting, there does exist a non-computable weak asymptotically optimal agent.

연구 동기 및 목표

• 순차적 의사결정 설정에서의 두 정의인 강한 및 약한 渐近적 최적성의 형식화 및 분석.
• 다양한 할인 함수 하에서 결정론적 계산 가능한 환경의 클래스에서 渐近적으로 최적의 에이전트가 존재할 수 있는지 판단.
• 장기적 최적성을 달성하기 위해 탐색의 역할을 조사하며, 특히 에이전트가 진정한 환경을 학습하면서도 渐近적 성능을 희생시키지 않는지 여부를 탐구.
• AIXI 및 베이지안 에이전트에 대한 이전 결과를 확장하여, 이 클래스에서 정적 베이지안 에이전트의 경우 약한 渐近적 최적성조차 달성 불가능함을 보여줌.
• 계산 가능한 환경에서 약한 渐近적 최적 정책을 허용하는지에 따라 할인 함수를 분류.

제안 방법

• 강한 渐近적 최적성은 에이전트가 점점 더 이상 탐색을 멈추고 최적 행동을 취하는 것을 요구하며, 약한 渐近적 최적성은 지속적이지만 점점 줄어드는 탐색을 허용한다.
• 계산 가능한 탐색 스케줄을 사용하는 비계산 가능한 에이전트를 구성하여, 진정한 환경을 학습할 수 있도록 충분한 탐색을 보장하면서도 장기적 최적성을 유지한다.
• 에이전트의 전방향 행동을 모델링하기 위해 할인 함수를 적용하며, 핵심 통찰은 할인 함수의 선택이 약한 渐近적 최적성 달성 가능성을 결정한다는 것이다.
• 에이전트가 계산 가능한 환경에 대한 사전을 사용하여 믿음을 업데이트하는 모델 기반 강화 학습 프레임워크를 사용한다.
• UCB 등 밴딧 알고리즘 기법과 ε-greedy 탐색을 적응시켜 탐색이 너무 자주 일어나지 않도록 하면서도 진정한 환경을 학습할 수 있도록 충분히 자주 일어나도록 보장한다.
• 반례 환경을 구성하여 어떤 에이전트라도 충분한 탐색을 하지 않거나 장기적 성능을 희생해야 한다는 증명 전략을 사용한다.

실험 결과

연구 질문

• RQ1 계산 가능한 에이전트가 결정론적 계산 가능한 환경의 클래스에서 강한 渐近적 최적성일 수 있는가?
• RQ2 어떤 할인 함수들에 대해 결정론적 계산 가능한 환경의 클래스에서 약한 渐近적 최적 에이전트가 존재하는가?
• RQ3 기하 할인에 있어서 비계산 가능한 에이전트가 약한 渐近적 최적성일 수 있는가?
• RQ4 AIXI가 왜 약한 渐近적 최적성이 아니며, 탐색 성분을 추가함으로써 이 실패를 수정할 수 있는가?
• RQ5 약한 渐近적 최적성 결과를 확률적 계산 가능한 환경으로 확장할 수 있는가?

주요 결과

• 모든 할인 함수에 관계없이 결정론적 계산 가능한 환경의 클래스에서 계산 가능한 에이전트는 강한 渐近적 최적성이 불가능하다.
• 기하 할인 및 기타 합이 수렴하는 할인 함수에 대해서는 비계산 가능한 약한 渐近적 최적 에이전트가 존재함을 보여주며, 이는 원칙적으로 약한 渐近적 최적성이 달성 가능함을 시사한다.
• 약한 渐近적 최적 에이전트의 존재는 할인 함수에 따라 매우 중요한 영향을 받는다; 일부 할인 함수에 대해서는 비계산 가능한 에이전트조차도 약한 渐近적 최적성을 달성할 수 없다.
• AIXI가 약한 渐近적 최적성이 되지 못하는 이유는 탐색을 결국 중단하기 때문이며, 이는 일부 경우에서 진정한 환경을 학습하지 못하게 한다.
• 제안된 에이전트는 탐색 빈도를 점점 줄이되, 진정한 환경를 식별할 수 있도록 충분한 깊이를 확보함으로써 탐색과 이용의 균형을 유지한다.
• 결과적으로 정적 베이지안 에이전트의 경우 계산 가능한 환경의 클래스에서 약한 渐近적 최적성조차 달성 불가능하며, 이는 일반 환경에서 베이지안 학습의 가정을 도전한다.