[论文解读] Guided Policy Search with Delayed Senor Measurements.

Connor Schenck, Dieter Fox|arXiv (Cornell University)|Sep 10, 2016

Reinforcement Learning in Robotics参考文献 23被引用 3

一句话总结

该论文通过引入状态扩展，将引导策略搜索方法拓展至具有延迟传感器测量的非马尔可夫环境，实现了对精确倒液等任务的有效学习。该方法在存在传感器延迟的情况下仍保持样本效率并实现高精度，展示了在真实机器人控制中的鲁棒性能。

ABSTRACT

Guided policy search is a method for reinforcement learning that trains a general policy for accomplishing a given task by guiding the learning of the policy with multiple guiding distributions. Guided policy search relies on learning an underlying dynamical model of the environment and then, at each iteration of the algorithm, using that model to gradually improve the policy. This model, though, often makes the assumption that the environment dynamics are markovian, e.g., depend only on the current state and control signal. In this paper we apply guided policy search to a problem with non-markovian dynamics. Specifically, we apply it to the problem of pouring a precise amount of liquid from a cup into a bowl, where many of the sensor measurements experience non-trivial amounts of delay. We show that, with relatively simple state augmentation, guided policy search can be extended to non-markovian dynamical systems, where the non-markovianess is caused by delayed sensor readings.

研究动机与目标

• 解决将引导策略搜索应用于传感器测量存在延迟的非马尔可夫动力系统所面临的挑战。
• 在具有延迟感官反馈的机器人控制任务中，实现样本高效的强化学习。
• 在因传感器延迟导致环境非马尔可夫性的情况下，保持策略的泛化能力和性能。
• 证明状态扩展在将非马尔可夫问题转化为马尔可夫问题以实现策略学习方面的有效性。

提出的方法

• 通过引入延迟的传感器测量来扩展状态空间，以恢复系统动力学的马尔可夫性质。
• 在策略优化过程中使用学习到的动力学模型来模拟环境转移，如同标准引导策略搜索一样。
• 使用扩展后的状态空间应用引导策略搜索，通过基于模型的滚动仿真迭代改进策略。
• 将延迟的传感器读数整合到状态表示中，以确保策略能够基于完整的历史观测做出决策。
• 利用演示数据和基于模型的滚动仿真训练策略，扩展后的状态使策略在延迟反馈下仍能实现精确更新。
• 利用任务结构（例如倒液）来定义有意义的状态扩展，以捕捉相关的延迟信息。

实验结果

研究问题

• RQ1 引导策略搜索能否在具有显著传感器测量延迟的非马尔可夫系统中有效应用？
• RQ2 使用延迟测量进行状态扩展在这些环境中的策略学习方面有何改善作用？
• RQ3 所提出的方法是否在具有延迟反馈的真实机器人控制任务中保持样本效率和性能？
• RQ4 扩展后的状态空间在多大程度上恢复了引导策略搜索所必需的马尔可夫性质？
• RQ5 该方法能否泛化至在传感器延迟下执行的复杂操作任务（如精确倒液）？

主要发现

• 所提出的方法通过状态扩展，成功将引导策略搜索扩展至具有延迟传感器测量的非马尔可夫系统。
• 状态扩展使策略在存在显著传感器延迟的情况下，仍能在倒液任务中实现高精度。
• 该方法通过利用基于模型的滚动仿真和引导学习，即使在观测延迟的情况下仍保持样本效率。
• 该方法在真实机器人实验中表现出稳健性能，显示出在延迟传感器环境中的实际可行性。
• 结果表明，通过结构化的状态扩展，可有效缓解由传感器延迟引起的非马尔可夫动力学。