[论文解读] AIXIjs: A Software Demo for General Reinforcement Learning

John Aslanides|arXiv (Cornell University)|May 22, 2017

Advanced Bandit Algorithms Research参考文献 11被引用 6

一句话总结

AIXIjs 是一个基于 JavaScript 的软件框架，用于实现和实验通用强化学习（GRL）智能体，包括 AIXI 的各种变体，如知识探索智能体、Thompson 采样和基于乐观性的智能体。它能够在非平凡环境中对这些智能体进行经验比较，提供交互式演示和类似 Gym 的接口，以研究其行为和理论特性。

ABSTRACT

Reinforcement learning is a general and powerful framework with which to study and implement artificial intelligence. Recent advances in deep learning have enabled RL algorithms to achieve impressive performance in restricted domains such as playing Atari video games (Mnih et al., 2015) and, recently, the board game Go (Silver et al., 2016). However, we are still far from constructing a generally intelligent agent. Many of the obstacles and open questions are conceptual: What does it mean to be intelligent? How does one explore and learn optimally in general, unknown environments? What, in fact, does it mean to be optimal in the general sense? The universal Bayesian agent AIXI (Hutter, 2005) is a model of a maximally intelligent agent, and plays a central role in the sub-field of general reinforcement learning (GRL). Recently, AIXI has been shown to be flawed in important ways; it doesn't explore enough to be asymptotically optimal (Orseau, 2010), and it can perform poorly with certain priors (Leike and Hutter, 2015). Several variants of AIXI have been proposed to attempt to address these shortfalls: among them are entropy-seeking agents (Orseau, 2011), knowledge-seeking agents (Orseau et al., 2013), Bayes with bursts of exploration (Lattimore, 2013), MDL agents (Leike, 2016a), Thompson sampling (Leike et al., 2016), and optimism (Sunehag and Hutter, 2015). We present AIXIjs, a JavaScript implementation of these GRL agents. This implementation is accompanied by a framework for running experiments against various environments, similar to OpenAI Gym (Brockman et al., 2016), and a suite of interactive demos that explore different properties of the agents, similar to REINFORCEjs (Karpathy, 2015). We use AIXIjs to present numerous experiments illustrating fundamental properties of, and differences between, these agents.

研究动机与目标

• 该论文旨在为研究人员和学生提供一个可访问的开源平台，用于探索和演示通用人工智能智能体。
• 它解决了 empirically 研究 AIXI 变体的挑战，这些变体在很大程度上是理论性的，难以测试。
• 该框架支持在不同环境中对探索策略和学习性能进行比较实验。
• 它旨在弥合理论 AIXI 模型与实际强化学习研究之间的差距。
• 该项目作为通用强化学习的参考实现和教育工具。

提出的方法

• AIXIjs 使用 JavaScript 实现，以确保广泛的可访问性和基于网页的部署。
• 该框架包含一个类似 OpenAI Gym 的模块化环境接口，支持即插即用的智能体测试。
• 它实现了多种 AIXI 变体：知识探索智能体、Thompson 采样、基于乐观性的智能体和 MDL 智能体。
• 该系统支持蒙特卡洛树搜索（MCTS）以在部分可观察环境中进行规划。
• 交互式演示实时可视化智能体行为、探索模式和学习进度。
• 实验在小型、定义明确的环境中进行，以隔离并比较智能体的特性。

实验结果

研究问题

• RQ1 在非平凡且结构化的环境中，不同 AIXI 变体（如知识探索智能体和 Thompson 采样）的表现如何？
• RQ2 通用强化学习智能体在探索行为方面存在哪些定性和定量差异？
• RQ3 对 AIXI 变体的经验比较能否揭示渐近最优性和学习效率的见解？
• RQ4 先验假设和探索策略如何影响在未知环境中的长期性能？
• RQ5 轻量级、基于网页的框架 AIXIjs 在多大程度上能够支持对通用强化学习智能体的有意义的经验评估？

主要发现

• AIXIjs 成功实现了在非平凡环境中对多种 AIXI 变体的首次经验比较，展示了不同的行为模式。
• 知识探索智能体表现出由认识论不确定性驱动的系统性探索，与以奖励最大化为目标的策略不同。
• Thompson 采样智能体展现出稳定且高效的探索，与渐近最优性的理论预期一致。
• 基于乐观性的智能体在某些环境中表现出更快的初始学习，但在其他环境中可能过度探索。
• 该框架的交互式演示有效展示了不同智能体类型在探索和学习动态方面的差异。
• 开源实现作为通用强化学习教学和研究的实用参考。