[論文レビュー] MDP environments for the OpenAI Gym

Andreas Kirsch|arXiv (Cornell University)|Sep 26, 2017

Reinforcement Learning in Robotics参考文献 3被引用数 3

ひとこと要約

この論文では、ドメイン固有言語（DSL）を用いて、Pythonフレームワークを提示する。このフレームワークにより、研究者が決定論的および非決定論的MDP環境を簡単に作成できる。このフレームワークは可視化、線形計画法による最適値の計算、強化学習エージェントのテストに向けたOpenAI Gymとのシームレスな統合をサポートする。

ABSTRACT

The OpenAI Gym provides researchers and enthusiasts with simple to use environments for reinforcement learning. Even the simplest environment have a level of complexity that can obfuscate the inner workings of RL approaches and make debugging difficult. This whitepaper describes a Python framework that makes it very easy to create simple Markov-Decision-Process environments programmatically by specifying state transitions and rewards of deterministic and non-deterministic MDPs in a domain-specific language in Python. It then presents results and visualizations created with this MDP framework.

研究の動機と目的

• 既存のOpenAI Gym環境の複雑さが原因で強化学習エージェントのデバッグが困難になる問題に対処すること。
• 再現性のあるテストと検証を可能にする、軽量で拡張可能な、プログラム的に単純なMDPを定義する方法を提供すること。
• 視覚化と解析的解法を用いて、研究者がエージェントの収束性を検証し、MDPの性質を分析できるようにすること。
• 洗練された読みやすいPythonのDSLを用いて、抽象的なMDP理論と実際のRL実験の間のギャップを埋めること。

提案手法

• Pythonにおけるドメイン固有言語（DSL）を用いて、状態遷移と報酬を自然に表現できる演算子オーバーロードを活用してMDPを定義する。
• 各状態行動ペアに対して複数の結果を許容することで、決定論的および非決定論的MDPをサポートし、カテゴリカル分布のためのオプションの重みを付与可能にする。
• DSLの代替として、`spec.transition()` や `spec.state()` などのメソッドを用いたプログラム的MDP定義が可能な従来のPython APIを実装する。
• networkxとpydotplus、GraphVizを用いてMDPをグラフに変換し、Jupyterノートブックでのレンダリングを可能にする可視化を実装する。
• MDP仕様に基づく専用モジュールを用いて、線形計画法により最適価値関数（QテーブルおよびVベクトル）を計算する。
• `to_env()` メソッドを用いてMDPをOpenAI Gym互換環境として公開し、RGB配列、PNG、Jupyter表示の複数フォーマットでのレンダリングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 強化学習研究において、Python内で人間が読みやすく、拡張可能で、合成可能な方法でMDPを指定するにはどうすればよいか？
• RQ2 DSLベースのアプローチにより、デバッグ用に最小限で再現可能なMDP環境を簡素化して作成できるか？
• RQ3 視覚化と解析的解法（例：最適価値関数）が、RLエージェントの解釈可能性とテストにどの程度寄与するか？
• RQ4 このフレームワークは、エンドツーエンドのエージェント評価を目的としたOpenAI Gymエコシステムとどの程度効果的に統合できるか？
• RQ5 このフレームワークは、均等な分布および重み付きの結果分布を用いた、決定論的および非決定論的MDPを一貫してサポートできるか？

主な発見

• フレームワークは、決定論的および非決定論的遷移をサポートする洗練された読みやすいDSLを用いてMDPを指定できることを成功裏に実現した。
• DSLは、演算子の優先順位と状態行動組み合わせにおける分配的性質を活用して、複雑な結果分布を自然に表現できる。
• networkxとGraphVizを用いたグラフとしてのMDPの可視化が可能で、Jupyterノートブックでのレンダリングが可能となり、デバッグや分析に役立つ。
• 線形計画法を用いて最適価値関数（QテーブルおよびVベクトル）が正確に計算され、エージェントのパフォーマンスの解析的ベンチマークを提供する。
• フレームワークは完全に互換性のあるOpenAI Gym環境を生成し、RGB、PNG、Jupyter表示の複数フォーマットでのレンダリングをサポートする。
• 4つのOpenAI Gymのデバッグ用最小環境と一致する例MDPが4つ、および1つの新しいマルチラウンド非決定論的MDPを含む、合計5つの例MDPが提供されている。