[论文解读] Modeling transition dynamics in MDPs with RKHS embeddings of conditional distributions

Steffen Grünewälder, Luca Baldassarre+3 more|arXiv (Cornell University)|Dec 20, 2011

Reinforcement Learning in Robotics参考文献 20被引用 4

一句话总结

本文提出了一种非参数强化学习方法，利用再生核希尔伯特空间（RKHS）对条件分布进行嵌入，以在不显式建模转移概率的情况下估计价值函数。通过将期望表示为具有线性复杂度的RKHS内积，该方法在连续和部分可观察环境中实现了高效的价值函数估计，在倒立摆和基于图像的导航任务实验中优于基于高斯过程的最小二乘策略迭代方法。

ABSTRACT

We propose a new, nonparametric approach to estimating the value function in reinforcement learning. This approach makes use of a recently developed representation of conditional distributions as functions in a reproducing kernel Hilbert space. Such representations bypass the need for estimating transition probabilities, and apply to any domain on which kernels can be defined. Our approach avoids the need to approximate intractable integrals since expectations are represented as RKHS inner products whose computation has linear complexity in the sample size. Thus, we can efficiently perform value function estimation in a wide variety of settings, including finite state spaces, continuous states spaces, and partially observable tasks where only sensor measurements are available. A second advantage of the approach is that we learn the conditional distribution representation from a training sample, and do not require an exhaustive exploration of the state space. We prove convergence of our approach either to the optimal policy, or to the closest projection of the optimal policy in our model class, under reasonable assumptions. In experiments, we demonstrate the performance of our algorithm on a learning task in a continuous state space (the under-actuated pendulum), and on a navigation problem where only images from a sensor are observed. We compare with least-squares policy iteration where a Gaussian process is used for value function estimation. Our algorithm achieves better performance in both tasks.

研究动机与目标

• 开发一种在马尔可夫决策过程中进行非参数价值函数估计的方法，避免显式估计转移概率。
• 通过基于核的表示，在连续和部分可观察状态空间中实现高效的价值函数学习。
• 通过将期望表示为样本数量线性增长的RKHS内积，降低计算复杂度。
• 在合理假设下，确保收敛到最优策略或其在模型类中的最近投影。
• 在复杂控制和视觉任务中，展示相对于现有方法（如基于高斯过程的最小二乘策略迭代）的性能提升。

提出的方法

• 该方法将条件分布表示为再生核希尔伯特空间（RKHS）中的函数，实现无需显式密度估计的非参数建模。
• 通过RKHS中的内积计算期望，其复杂度随样本数量线性增长，避免了昂贵的数值积分。
• 该方法直接从训练数据中学习条件分布的表示，而无需对状态空间进行详尽探索。
• 利用核方法定义状态-动作空间中的相似性，使其可应用于核函数可定义的多样化领域。
• 利用表示定理，将价值函数估计表示为在观测样本处计算的核函数的线性组合。
• 在标准假设下建立了收敛性，表明其收敛到最优策略或其在模型类中的最近近似。

实验结果

研究问题

• RQ1 RKHS对条件分布的嵌入是否能够在不显式建模转移概率的情况下，实现MDP中高效且非参数的价值函数估计？
• RQ2 RKHS中的内积表示是否能够实现期望的线性时间计算，从而在连续和高维设置中提升可扩展性？
• RQ3 该方法是否能够泛化到仅能获取传感器观测的环境？
• RQ4 与基于高斯过程的最小二乘策略迭代相比，基于RKHS的方法在连续控制和视觉导航任务中的性能如何？
• RQ5 在何种条件下，该方法能够收敛到最优策略或其在模型类中的最近投影？

主要发现

• 所提出的方法在连续状态的欠驱动倒立摆控制任务中，性能优于基于高斯过程的最小二乘策略迭代方法。
• 通过使用基于图像的传感器观测作为输入，该方法成功处理了部分可观察强化学习问题，展示了在视觉导航任务中的鲁棒性。
• 由于RKHS内积计算的线性扩展，价值函数估计的复杂度随样本数量线性增长，从而在大规模数据集中实现了高效学习。
• 在标准正则性假设下，该方法收敛到最优策略或其在模型类中的最近投影，确保了理论可靠性。
• 实验结果表明，条件分布的核基表示能够在无需显式密度估计或详尽状态空间覆盖的情况下，实现准确的价值函数估计。