[論文レビュー] AIXIjs: A Software Demo for General Reinforcement Learning

John Aslanides|arXiv (Cornell University)|May 22, 2017

Advanced Bandit Algorithms Research参考文献 11被引用数 6

ひとこと要約

AIXIjs は、AIXI の変種（知識獲得エージェント、トムソンサンプリング、楽観的戦略に基づくエージェントなど）を含む汎用強化学習（GRL）エージェントの実装と実験を可能にする JavaScript ベースのソフトウェアフレームワークである。非自明な環境においてこれらのエージェントを実証的に比較可能であり、インタラクティブなデモと Gym に類似したインターフェースを提供することで、エージェントの行動および理論的性質の研究が可能である。

ABSTRACT

Reinforcement learning is a general and powerful framework with which to study and implement artificial intelligence. Recent advances in deep learning have enabled RL algorithms to achieve impressive performance in restricted domains such as playing Atari video games (Mnih et al., 2015) and, recently, the board game Go (Silver et al., 2016). However, we are still far from constructing a generally intelligent agent. Many of the obstacles and open questions are conceptual: What does it mean to be intelligent? How does one explore and learn optimally in general, unknown environments? What, in fact, does it mean to be optimal in the general sense? The universal Bayesian agent AIXI (Hutter, 2005) is a model of a maximally intelligent agent, and plays a central role in the sub-field of general reinforcement learning (GRL). Recently, AIXI has been shown to be flawed in important ways; it doesn't explore enough to be asymptotically optimal (Orseau, 2010), and it can perform poorly with certain priors (Leike and Hutter, 2015). Several variants of AIXI have been proposed to attempt to address these shortfalls: among them are entropy-seeking agents (Orseau, 2011), knowledge-seeking agents (Orseau et al., 2013), Bayes with bursts of exploration (Lattimore, 2013), MDL agents (Leike, 2016a), Thompson sampling (Leike et al., 2016), and optimism (Sunehag and Hutter, 2015). We present AIXIjs, a JavaScript implementation of these GRL agents. This implementation is accompanied by a framework for running experiments against various environments, similar to OpenAI Gym (Brockman et al., 2016), and a suite of interactive demos that explore different properties of the agents, similar to REINFORCEjs (Karpathy, 2015). We use AIXIjs to present numerous experiments illustrating fundamental properties of, and differences between, these agents.

研究の動機と目的

• . 本論文は、研究者や学生が汎用 AI エージェントを探索し、実証的に示すことができる、アクセスしやすくオープンソースのプラットフォームを提供することを目的としている。
• AIXI の変種は主に理論的であり、実験的に検証することが難しいという課題に対処している。
• 本フレームワークは、異なる環境における探索戦略および学習性能の比較実験を支援する。
• 理論的 AIXI モデルと実践的強化学習研究との間のギャップを埋めることを目的としている。
• 本プロジェクトは、汎用強化学習における参考実装および教育的ツールとして機能する。

提案手法

• . AIXIjs は、広範なアクセス性とウェブベースのデプロイメントを確保するため、JavaScript で実装されている。
• フレームワークには、OpenAI Gym に類似したモジュラーな環境インターフェースが含まれており、エージェントの即座な挿入テストが可能である。
• 複数の AIXI 変種が実装されている：知識獲得エージェント、トムソンサンプリング、楽観的戦略に基づくエージェント、MDL エージェント。
• 部分的に観測可能な環境における計画にはモンテカルロツリー探索（MCTS）がサポートされている。
• インタラクティブなデモは、エージェントの行動、探索パターン、学習の進行をリアルタイムで可視化する。
• 実験は、エージェントの性質を分離して比較できるように、小規模で明確に定義された環境で実施されている。

実験結果

リサーチクエスチョン

• RQ1 . 知識獲得エージェントやトムソンサンプリングなどの異なる AIXI 変種は、非自明で構造的な環境でどのように性能を発揮するか？
• RQ2 . 汎用強化学習エージェント間で、探索行動にどのような定性的および定量的差異が生じるか？
• RQ3 . AIXI 変種の実証的比較は、漸近的最適性および学習効率に関するインサイトを明らかにできるか？
• RQ4 . 事前仮定や探索戦略は、未知の環境における長期的パフォーマンスにどのように影響を与えるか？
• RQ5 . AIXIjs のような軽量でウェブベースのフレームワークは、汎用強化学習エージェントの意味のある実証的評価をどの程度サポートできるか？

主な発見

• . AIXIjs は、非自明な環境において複数の AIXI 変種の最初の実証的比較を成功裏に実現し、明確な行動パターンの違いを示した。
• 知識獲得エージェントは、認識的不確実性に起因する体系的な探索を示し、報酬最大化戦略とは異なる。
• トムソンサンプリングのエージェントは、安定的かつ効果的な探索を示し、漸近的最適性の理論的期待と整合的であった。
• 楽観的戦略に基づくエージェントは、一部の環境では初期学習が速やかに進むが、他の環境では過剰に探索する傾向があった。
• フレームワークのインタラクティブなデモは、エージェントタイプごとの探索および学習ダイナミクスの違いを効果的に可視化した。
• オープンソース実装は、汎用強化学習における教育および研究のための機能的参考実装として機能している。