[논문 리뷰] AIXIjs: A Software Demo for General Reinforcement Learning

John Aslanides|arXiv (Cornell University)|2017. 05. 22.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 6

한 줄 요약

AIXIjs는 일반 강화학습(GRL) 에이전트, 특히 AIXI의 변종인 지식 탐색 에이전트, 톰슨 샘플링, 낙관주의 기반 에이전트 등을 구현하고 실험하기 위한 자바스크립트 기반 소프트웨어 프레임워크이다. 이 프레임워크는 비트레이드가 있는 환경에서 이러한 에이전트들을 실증적으로 비교할 수 있도록 하며, 상호작용형 데모와 Gym 유사 인터페이스를 제공하여 그들의 행동과 이론적 성질을 연구할 수 있도록 한다.

ABSTRACT

Reinforcement learning is a general and powerful framework with which to study and implement artificial intelligence. Recent advances in deep learning have enabled RL algorithms to achieve impressive performance in restricted domains such as playing Atari video games (Mnih et al., 2015) and, recently, the board game Go (Silver et al., 2016). However, we are still far from constructing a generally intelligent agent. Many of the obstacles and open questions are conceptual: What does it mean to be intelligent? How does one explore and learn optimally in general, unknown environments? What, in fact, does it mean to be optimal in the general sense? The universal Bayesian agent AIXI (Hutter, 2005) is a model of a maximally intelligent agent, and plays a central role in the sub-field of general reinforcement learning (GRL). Recently, AIXI has been shown to be flawed in important ways; it doesn't explore enough to be asymptotically optimal (Orseau, 2010), and it can perform poorly with certain priors (Leike and Hutter, 2015). Several variants of AIXI have been proposed to attempt to address these shortfalls: among them are entropy-seeking agents (Orseau, 2011), knowledge-seeking agents (Orseau et al., 2013), Bayes with bursts of exploration (Lattimore, 2013), MDL agents (Leike, 2016a), Thompson sampling (Leike et al., 2016), and optimism (Sunehag and Hutter, 2015). We present AIXIjs, a JavaScript implementation of these GRL agents. This implementation is accompanied by a framework for running experiments against various environments, similar to OpenAI Gym (Brockman et al., 2016), and a suite of interactive demos that explore different properties of the agents, similar to REINFORCEjs (Karpathy, 2015). We use AIXIjs to present numerous experiments illustrating fundamental properties of, and differences between, these agents.

연구 동기 및 목표

• . 본 논문은 연구자들과 학생들이 보편적 인공지능 에이전트를 탐색하고 시연할 수 있도록 접근성 있고 오픈소스 플랫폼을 제공하고자 한다.
• 이러한 에이전트의 실증적 연구에 어려움이 있다는 문제를 다루며, 이는 주로 이론적일 뿐 실질적인 테스트가 어려운 AIXI 변종들 때문이기 때문이다.
• 프레임워크는 다양한 환경에서 탐색 전략과 학습 성능에 대한 비교 실험을 지원한다.
• 이론적 AIXI 모델과 실질적 강화학습 연구 사이의 격차를 메우고자 한다.
• 이 프로젝트는 일반 강화학습 분야의 참조 구현체이자 교육적 도구로 기능한다.

제안 방법

• . AIXIjs는 광범위한 접근성과 웹 기반 배포를 보장하기 위해 자바스크립트로 구현되었다.
• 프레임워크는 OpenAI Gym과 유사한 모듈식 환경 인터페이스를 포함하여 에이전트의 즉각적인 플러그-앤플레이 테스트를 가능하게 한다.
• 다양한 AIXI 변종을 구현: 지식 탐색 에이전트, 톰슨 샘플링, 낙관주의 기반 에이전트, MDL 에이전트.
• 부분 관찰 가능한 환경에서의 계획을 위해 몬테카를로 트리 탐색(MCTS)을 지원한다.
• 상호작용형 데모는 에이전트 행동, 탐색 패턴, 실시간 학습 진전을 시각화한다.
• 실험은 에이전트의 성질를 고립하고 비교할 수 있도록 작은, 잘 정의된 환경에서 수행된다.

실험 결과

연구 질문

• RQ1 . 지식 탐색 에이전트와 톰슨 샘플링 등 다양한 AIXI 변종이 비트레이드가 있는 구조적 환경에서 어떻게 성능을 내는가?
• RQ2 . 보편적 강화학습 에이전트 간의 탐색 행동에 대한 정성적·정량적 차이점은 무엇인가?
• RQ3 . AIXI 변종 간의 실증적 비교를 통해 渐近 최적성과 학습 효율성에 대한 통찰을 도출할 수 있는가?
• RQ4 . 사전 가정과 탐색 전략은 알 수 없는 환경에서 장기적인 성능에 어떻게 영향을 미치는가?
• RQ5 . AIXIjs와 같은 경량 웹 기반 프레임워크가 일반 강화학습 에이전트의 의미 있는 실증 평가를 얼마나 잘 지원할 수 있는가?

주요 결과

• . AIXIjs는 비트레이드가 있는 환경에서 여러 AIXI 변종 간의 첫 실증적 비교를 성공적으로 가능하게 하였으며, 각각의 고유한 행동 패턴을 입증하였다.
• 지식 탐색 에이전트는 지식의 불확실성에 기반한 체계적인 탐색을 보이며, 보상 최적화 전략과는 다름을 보였다.
• 톰슨 샘플링 에이전트는 이론적 예측과 일치하는 안정적이고 효과적인 탐색을 보였으며, 渐近 최적성의 기대에 부합하였다.
• 낙관주의 기반 에이전트는 일부 환경에서는 초기 학습 속도가 빠르지만, 다른 환경에선 과도한 탐색을 보일 수 있었다.
• 프레임워크의 상호작용형 데모는 다양한 에이전트 유형 간의 탐색 및 학습 역학의 차이를 효과적으로 시각화하였다.
• 오픈소스 구현체는 일반 강화학습 분야의 교육 및 연구를 위한 기능적인 參照 구현체로 기능한다.