[论文解读] Interpretable Dynamics Models for Data-Efficient Reinforcement Learning

Markus Kaiser, Clemens Otte+2 more|arXiv (Cornell University)|Jul 10, 2019

Gaussian Processes and Bayesian Inference参考文献 6被引用 5

一句话总结

该论文通过将专家知识融入基于高斯过程的转移模型，提出了一种贝叶斯可解释动力学模型，以实现数据高效的强化学习。利用变分推断，该方法将动力学分解为结构化组件（流动、噪声、坠落事件），实现了人类可解释的洞察，并在双模态、异方差基准上相比NFQ展现出更优的数据效率。

ABSTRACT

In this paper, we present a Bayesian view on model-based reinforcement learning. We use expert knowledge to impose structure on the transition model and present an efficient learning scheme based on variational inference. This scheme is applied to a heteroskedastic and bimodal benchmark problem on which we compare our results to NFQ and show how our approach yields human-interpretable insight about the underlying dynamics while also increasing data-efficiency.

研究动机与目标

• 解决在环境交互成本高或存在安全隐患的批量强化学习中的数据效率问题。
• 通过引入专家结构化先验，克服标准高斯过程模型在基于模型的强化学习中的局限性。
• 实现对复杂、随机动力学（如双模态转移和故障事件）的人类可解释建模。
• 开发一种高效的推断方案，支持概率策略搜索，同时保持模型的可解释性。
• 在具有异方差性和双模态动力学的复杂基准上，展示改进的样本效率和可解释性。

提出的方法

• 使用结构化分解将转移动力学划分为三个组件：确定性流动（f）、异方差噪声（σ）和坠落事件概率（λ），每个组件均使用独立的高斯过程建模。
• 通过在动力学上施加先验结构来融入专家知识，显式建模河流流动、湍流和瀑布坠落风险。
• 采用因子化变分推断方案，近似动力学和策略参数的后验分布，实现高效采样和梯度估计。
• 通过蒙特卡洛滚动优化策略，使用通过动力学模型变分后验传播的样本，结合随机梯度下降进行优化。
• 利用自动微分工具（如TensorFlow）计算期望回报相对于策略参数的梯度。
• 通过引入诱导点（u）的稀疏GP近似，实现蒙特卡洛滚动的并行化和高效推断，提升可扩展性。

实验结果

研究问题

• RQ1 在贝叶斯动力学模型中引入专家结构化先验，是否能提升批量强化学习中的数据效率？
• RQ2 将可解释组件（流动、噪声、坠落事件）纳入模型，如何增强模型透明度和策略学习效果？
• RQ3 在复杂双模态环境中，该方法在样本效率方面相较于非可解释基线方法（如NFQ）的优越程度如何？
• RQ4 对结构化动力学模型进行变分推断，是否能支持在极少环境交互下的可靠策略优化？
• RQ5 将动力学分解为具有物理意义的组件，是否能带来更鲁棒和泛化能力更强的策略？

主要发现

• 所提方法在Wet-Chicken基准上相比NFQ实现了显著更高的数据效率，学习有效策略所需转移次数更少。
• 模型生成了可解释的动力学组件：流动、噪声和坠落事件概率，与河流系统的专家知识高度一致。
• 对f、σ和λ组件的分解使系统行为的解释更加清晰，例如在河岸附近湍流较高，而瀑布附近流动较强。
• 对结构化动力学模型进行变分推断，使得仅需每步优化少量蒙特卡洛滚动即可实现高效策略学习。
• 该方法成功捕捉了环境的双模态特性，包括瀑布处高概率的坠落事件以及河流中的随机漂移。
• 策略优化过程稳定且可扩展，通过在变分后验上使用自动微分高效计算梯度。