[论文解读] Learning Multimodal Transition Dynamics for Model-Based Reinforcement Learning

Thomas M. Moerland, Joost Broekens+1 more|arXiv (Cornell University)|May 1, 2017

Reinforcement Learning in Robotics参考文献 15被引用 26

一句话总结

本文提出在基于模型的强化学习中，使用带有深度生成模型的条件变分推断（VI）来学习多模态转移动态。通过利用潜在变量——包括离散和连续变量——该方法能够稳健地捕捉复杂、高维的随机转移，同时准确建模确定性成分，在捕捉多模态结果分布方面优于判别式方法（如MSE损失）。

ABSTRACT

In this paper we study how to learn stochastic, multimodal transition dynamics in reinforcement learning (RL) tasks. We focus on evaluating transition function estimation, while we defer planning over this model to future work. Stochasticity is a fundamental property of many task environments. However, discriminative function approximators have difficulty estimating multimodal stochasticity. In contrast, deep generative models do capture complex high-dimensional outcome distributions. First we discuss why, amongst such models, conditional variational inference (VI) is theoretically most appealing for model-based RL. Subsequently, we compare different VI models on their ability to learn complex stochasticity on simulated functions, as well as on a typical RL gridworld with multimodal dynamics. Results show VI successfully predicts multimodal outcomes, but also robustly ignores these for deterministic parts of the transition dynamics. In summary, we show a robust method to learn multimodal transitions using function approximation, which is a key preliminary for model-based RL in stochastic domains.

研究动机与目标

• 解决在强化学习环境中学习随机、多模态转移动态的挑战。
• 克服判别式模型（如MSE损失）在捕捉多模态结果分布方面的局限性。
• 评估深度生成模型，特别是条件变分推断，在建模复杂转移动态方面的有效性。
• 证明基于VI的模型能够区分转移函数中确定性与随机性成分。
• 提供一种可扩展的函数逼近解决方案，适用于现实世界强化学习任务中的高维状态-动作空间。

提出的方法

• 采用条件变分推断（VI）来建模下一状态分布 $ p(y|x) $，其中 $ x $ 为当前状态-动作对，$ y $ 为下一状态。
• 使用带有潜在变量的深度神经网络——具体包括连续球形高斯分布、离散分布以及基于归一化流的潜在空间——以建模复杂、多模态的结果分布。
• 使用变分下界（ELBO）进行模型训练，以在重建精度与潜在空间正则化之间取得平衡。
• 集成推理网络以近似真实后验 $ q(z|x,y) $，从而实现端到端可微训练。
• 在合成函数和具有多模态动态的网格世界环境中，对比多种VI架构（如VAE、LVAE、归一化流）的性能。
• 采用均方误差（MSE）基线进行比较，以评估生成建模在捕捉多模态随机性方面的优越性。

实验结果

研究问题

• RQ1 条件变分推断能否在高维状态空间中有效建模多模态转移动态？
• RQ2 基于VI的建模方法与判别式函数逼近器（如MSE训练的网络）相比，在捕捉复杂多模态结果分布方面表现如何？
• RQ3 该模型是否能稳健地区分转移函数中确定性与随机性成分？
• RQ4 不同类型的潜在变量（连续、离散、归一化流）在学习多模态动态方面的性能有何影响？
• RQ5 该模型能否泛化到表格方法不可行的真实世界强化学习环境？

主要发现

• 条件变分推断成功捕捉了多模态结果分布，优于会坍缩到单一模式的基于MSE的判别式模型。
• 基于VI的模型在转移函数的确定性部分稳健地忽略了多模态结构，从而在适当位置保持了准确的点预测。
• 在不同潜在变量类型（高斯分布、离散分布、归一化流）之间未观察到显著性能差异，表明在所研究的领域规模下，标准球形高斯VAE已足够。
• 该模型在具有多模态动态的网格世界中实现了在线准确的转移动态学习，证明了其在典型强化学习环境中的可行性。
• 该方法可扩展至高维状态空间，并在表格学习不可行时实现函数逼近。
• 结果证实，VI在理论上和实证上均非常适合用于建模基于模型强化学习中的复杂随机性，为未来规划奠定了坚实基础。