[论文解读] Learning Environment Models with Continuous Stochastic Dynamics

Martin Tappler, Edi Muškardin+2 more|arXiv (Cornell University)|Jun 29, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出 CASTLE，一种新颖的自动机学习框架，通过结合降维、聚类以及被动/主动学习，构建连续随机环境的紧凑且可解释的马尔可夫决策过程（MDP）模型。该方法在性能上可匹配或超越深度强化学习智能体，同时通过形式化模型检查提供透明度和可分析性。

ABSTRACT

Solving control tasks in complex environments automatically through learning offers great potential. While contemporary techniques from deep reinforcement learning (DRL) provide effective solutions, their decision-making is not transparent. We aim to provide insights into the decisions faced by the agent by learning an automaton model of environmental behavior under the control of an agent. However, for most control problems, automata learning is not scalable enough to learn a useful model. In this work, we raise the capabilities of automata learning such that it is possible to learn models for environments that have complex and continuous dynamics. The core of the scalability of our method lies in the computation of an abstract state-space representation, by applying dimensionality reduction and clustering on the observed environmental state space. The stochastic transitions are learned via passive automata learning from observed interactions of the agent and the environment. In an iterative model-based RL process, we sample additional trajectories to learn an accurate environment model in the form of a discrete-state Markov decision process (MDP). We apply our automata learning framework on popular RL benchmarking environments in the OpenAI Gym, including LunarLander, CartPole, Mountain Car, and Acrobot. Our results show that the learned models are so precise that they enable the computation of policies solving the respective control tasks. Yet the models are more concise and more general than neural-network-based policies and by using MDPs we benefit from a wealth of tools available for analyzing them. When solving the task of LunarLander, the learned model even achieved similar or higher rewards than deep RL policies learned with stable-baselines3.

研究动机与目标

• 解决复杂控制环境中连续动力学缺乏可解释、紧凑且可分析模型的问题。
• 克服传统自动机学习在高维连续状态空间中的可扩展性限制。
• 实现有限状态 MDP 的自动学习，准确表征在智能体控制下的环境行为。
• 通过学习到的 MDP 支持智能体决策行为的形式化验证与分析。
• 提供一种可扩展、样本高效且透明可解释的深度强化学习替代方案。

提出的方法

• 应用降维技术（如自编码器）将高维环境观测压缩为低维表示。
• 对降维后的观测进行聚类，将相似状态分组并形成抽象状态等价类。
• 在聚类序列上执行被动自动机学习，推断初始 MDP 结构及其随机转移。
• 通过概率模型检查进行主动采样，识别并生成能最大化模型精炼的轨迹。
• 通过在新采样轨迹上重新训练，迭代改进 MDP 模型以提升准确性和覆盖范围。
• 在学习到的 MDP 上进行策略合成，以指导主动采样，聚焦于高影响力的状态-动作序列。

实验结果

研究问题

• RQ1 自动机学习能否扩展到具有连续、高维且随机动力学的环境？
• RQ2 降维与聚类的结合能否在连续空间中有效实现 MDP 学习的状态抽象？
• RQ3 由概率模型检查引导的主动采样能否显著提升学习到的 MDP 的准确性和实用性？
• RQ4 从学习到的 MDP 中推导出的策略能否与深度强化学习智能体一样有效地解决基准控制任务？
• RQ5 学习到的 MDP 在多大程度上能够支持智能体行为的形式化分析与解释？

主要发现

• CASTLE 在四个 OpenAI Gym 环境（LunarLander、CartPole、Mountain Car 和 Acrobot）中成功学习了有限状态 MDP 模型。
• 学习到的 MDP 模型具有足够的准确性，能够计算出解决所有控制任务的策略，证明了其功能保真度。
• 在 LunarLander 环境中，所计算的策略在累积奖励方面与 stable-baselines3 DRL 智能体相当或更优，尽管未针对奖励进行优化。
• CASTLE 的总样本复杂度（Mountain Car 约 490k 时间步）低于用于对比的 A2C 智能体（100 万时间步）。
• 该方法在实验中表现出稳健性能，对超参数（如 epsilon=0.005 和信念大小=4）的敏感性极低。
• 该方法具备样本高效与可扩展性，平均实验运行时间在 60–90 分钟之间，尽管尚未实现 GPU 加速。