[论文解读] Modelling transition dynamics in MDPs with RKHS embeddings

Steffen Grünewälder, Guy Lever+3 more|Lancaster EPrints (Lancaster University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 25被引用 44

一句话总结

本文提出了一种基于再生核希尔伯特空间（RKHS）嵌入的非参数方法，用于建模马尔可夫决策过程（MDP）中的转移动态，通过将条件分布表示为嵌入向量，避免了显式密度估计。该方法实现了具有收敛性保证的高效值迭代，可收敛至最优策略或其在RKHS中的最近投影，相较于基线方法在基于图像观测的控制与导航任务中表现更优。

ABSTRACT

We propose a new, nonparametric approach to learning and representing transition dynamics in Markov decision processes (MDPs), which can be combined easily with dynamic programming methods for policy optimisation and value estimation. This approach makes use of a recently developed representation of conditional distributions as \emph{embeddings} in a reproducing kernel Hilbert space (RKHS). Such representations bypass the need for estimating transition probabilities or densities, and apply to any domain on which kernels can be defined. This avoids the need to calculate intractable integrals, since expectations are represented as RKHS inner products whose computation has linear complexity in the number of points used to represent the embedding. We provide guarantees for the proposed applications in MDPs: in the context of a value iteration algorithm, we prove convergence to either the optimal policy, or to the closest projection of the optimal policy in our model class (an RKHS), under reasonable assumptions. In experiments, we investigate a learning task in a typical classical control setting (the under-actuated pendulum), and on a navigation problem where only images from a sensor are observed. For policy optimisation we compare with least-squares policy iteration where a Gaussian process is used for value function estimation. For value estimation we also compare to the NPDP method. Our approach achieves better performance in all experiments.

研究动机与目标

• 开发一种无需显式概率密度估计的MDP转移动态非参数表示方法。
• 使该方法能够与动态规划方法（如值迭代）集成，以实现策略优化与值函数估计。
• 为基于RKHS的转移模型使用值迭代提供理论收敛性保证。
• 在经典控制与基于视觉的导航任务中，证明该方法优于现有方法。
• 通过利用RKHS内积实现线性复杂度的计算，避免期望计算中的不可计算积分。

提出的方法

• 该方法将条件转移分布表示为再生核希尔伯特空间（RKHS）中的嵌入向量，实现无需密度估计的非参数建模。
• 通过基于核函数的嵌入表示转移动态，期望值通过RKHS中的内积计算，降低计算复杂度。
• 利用核技巧避免显式积分，实现状态-动作值期望的高效计算。
• 对值迭代进行适配，以使用RKHS嵌入表示转移动态，在标准MDP假设下证明了收敛性。
• 将该方法与动态规划算法结合，实现在复杂领域中的策略优化与值函数估计。
• 该框架适用于任意可定义核函数的领域，包括图像等高维观测空间。

实验结果

研究问题

• RQ1 MDP中的转移动态是否可在不估计概率密度或质量函数的情况下被有效建模？
• RQ2 RKHS嵌入是否能够实现高效且可扩展的值迭代，并具备理论收敛性保证？
• RQ3 在控制与基于视觉的任务中，基于RKHS的转移模型相较于参数化与非参数化基线方法表现如何？
• RQ4 该方法是否可在无需显式特征工程的情况下处理高维观测（如图像）？
• RQ5 基于嵌入的方法是否在值函数估计与策略学习方面优于基于高斯过程与NPDP的方法？

主要发现

• 在欠驱动摆和导航任务中，该方法在性能上优于使用高斯过程值函数估计的最小二乘策略迭代方法。
• 在值函数估计方面，该方法优于NPDP方法，展现出更高的样本效率与更高的准确性。
• 在合理假设下，值迭代的收敛性可保证收敛至最优策略或RKHS模型类中最近的投影。
• 期望计算的计算复杂度随嵌入表示中使用的数据点数量呈线性增长。
• 该方法在导航任务中成功处理了基于图像的观测，表现出对高维输入空间的鲁棒性。
• 实验结果证实了该方法在经典控制与基于视觉的强化学习设置中的有效性。