[论文解读] MDP environments for the OpenAI Gym

Andreas Kirsch|arXiv (Cornell University)|Sep 26, 2017

Reinforcement Learning in Robotics参考文献 3被引用 3

一句话总结

本文提出了一种用于通过领域特定语言（DSL）以程序化方式指定简单马尔可夫决策过程（MDP）的 Python 框架，使研究人员能够轻松创建确定性和非确定性 MDP 环境。该框架支持可视化、通过线性规划计算最优值，并可与 OpenAI Gym 无缝集成，用于测试强化学习智能体。

ABSTRACT

The OpenAI Gym provides researchers and enthusiasts with simple to use environments for reinforcement learning. Even the simplest environment have a level of complexity that can obfuscate the inner workings of RL approaches and make debugging difficult. This whitepaper describes a Python framework that makes it very easy to create simple Markov-Decision-Process environments programmatically by specifying state transitions and rewards of deterministic and non-deterministic MDPs in a domain-specific language in Python. It then presents results and visualizations created with this MDP framework.

研究动机与目标

• 为解决现有 OpenAI Gym 环境复杂性导致的强化学习智能体调试困难问题。
• 提供一种轻量级、可扩展的程序化方式，用于定义简单 MDP，以实现可复现的测试与验证。
• 使研究人员能够通过可视化和解析解，验证智能体收敛性并分析 MDP 属性。
• 通过在 Python 中使用简洁易读的 DSL，弥合抽象 MDP 理论与实际强化学习实验之间的差距。

提出的方法

• 使用 Python 中的领域特定语言（DSL）和操作符重载，自然表达状态转移和奖励，以定义 MDP。
• 通过允许每个状态-动作对有多个结果，支持确定性和非确定性 MDP，并可选地为分类分布指定权重。
• 实现传统的 Python API 作为 DSL 的替代方案，用于程序化 MDP 规范，使用诸如 `spec.transition()` 和 `spec.state()` 等方法。
• 将 MDP 转换为 networkx 图以进行可视化，使用 pydotplus 和 GraphViz 渲染，支持在 Jupyter 笔记本中显示。
• 通过基于 MDP 规范的专用模块，使用线性规划计算最优值函数（Q-table 和 V-vector）。
• 使用 `to_env()` 方法将 MDP 暴露为兼容 OpenAI Gym 的环境，支持以 RGB 数组、PNG 和 Jupyter 显示格式进行渲染。

实验结果

研究问题

• RQ1 如何在 Python 中以人类可读、可扩展且可组合的方式指定 MDP，以支持强化学习研究？
• RQ2 基于 DSL 的方法是否能简化最小化、可复现的 MDP 环境的创建，以用于调试强化学习算法？
• RQ3 可视化和解析解（如最优值函数）在多大程度上能提升强化学习智能体的可解释性和测试能力？
• RQ4 该框架在多大程度上能与 OpenAI Gym 生态系统集成，以实现端到端的智能体评估？
• RQ5 该框架是否能以统一和加权结果分布的方式，同时支持确定性和非确定性 MDP？

主要发现

• 该框架成功实现了使用简洁易读的 DSL 定义 MDP，支持确定性和非确定性转移。
• DSL 允许通过操作符优先级和状态-动作组合上的分配语义，自然表达复杂的结果分布。
• MDP 可使用 networkx 和 GraphViz 可视化为图，支持在 Jupyter 笔记本中渲染，有助于调试和分析。
• 通过线性规划准确计算最优值函数（Q-table 和 V-vector），为智能体性能提供了解析基准。
• 该框架生成完全兼容 OpenAI Gym 的环境，包括对多种格式（RGB、PNG、Jupyter 显示）渲染的支持。
• 提供了五个示例 MDP，包括四个与 OpenAI Gym 调试套件中最小环境匹配的 MDP，以及一个新颖的多轮非确定性 MDP。