[论文解读] Metric State Space Reinforcement Learning for a Vision-Capable Mobile Robot

Viktor Zhumatiy, Faustino Gomez+2 more|ArXiv.org|Mar 7, 2006

Reinforcement Learning in Robotics参考文献 21被引用 3

一句话总结

本文提出分段连续最近序列记忆（PC-NSM），一种基于度量的实例学习算法，使具备视觉能力的移动机器人能够直接从真实世界感官数据中学习控制策略，而无需预先建模环境或对状态空间进行离散化。通过在状态-动作轨迹上使用连续度量，并结合可变半径的k-最近邻方法，该方法在分段连续的感知空间中实现了数据高效的学习，同时处理了部分可观察性问题，在真实机器人上成功实现了自主导航与目标捕获。

ABSTRACT

We address the problem of autonomously learning controllers for vision-capable mobile robots. We extend McCallum's (1995) Nearest-Sequence Memory algorithm to allow for general metrics over state-action trajectories. We demonstrate the feasibility of our approach by successfully running our algorithm on a real mobile robot. The algorithm is novel and unique in that it (a) explores the environment and learns directly on a mobile robot without using a hand-made computer model as an intermediate step, (b) does not require manual discretization of the sensor input space, (c) works in piecewise continuous perceptual spaces, and (d) copes with partial observability. Together this allows learning from much less experience compared to previous methods.

研究动机与目标

• 在不依赖手工构建环境模型的前提下，实现视觉能力移动机器人在真实世界中的直接强化学习。
• 解决视觉机器人环境中常见的分段连续感知空间带来的挑战，此类空间中的不连续性通常由物体边界或遮挡引起。
• 通过避免对传感器输入空间进行人工离散化，并采用基于度量的最近邻方法实现高效泛化，从而降低数据需求。
• 通过在观察序列上使用连续度量并结合时间状态历史，处理实时机器人控制中的部分可观察性问题。
• 开发一种对环境变化（如障碍物或目标重新定位）具有鲁棒性的方法，而无需重新训练。

提出的方法

• 该算法通过在状态-动作轨迹上使用连续度量而非离散状态网格，将McCallum的最近序列记忆（NSM）方法扩展至分段连续的感知空间。
• 采用可变半径的k-最近邻方法，从存储的经验中进行泛化，从而在状态空间边界附近（不连续性发生处）实现更高分辨率。
• 对观察历史应用折扣度量，使智能体能够记住过去的视觉状态，并在目标短暂不可见时实现恢复。
• 该方法存储所有收集到的经验，并通过修改后的Q-learning更新规则，利用度量空间中的最近邻来估计Q值。
• 该算法直接在原始视觉输入上运行，无需预处理或对感知空间进行人工离散化。
• 通过在度量空间中基于最近邻选择动作，隐式地使用连续动作空间，未来扩展将考虑显式动作度量。

实验结果

研究问题

• RQ1 强化学习算法能否在无需预先建模环境的情况下，直接从真实世界的视觉输入中学习到有效的导航策略？
• RQ2 学习算法如何在因物体边界或遮挡导致不连续性的分段连续感知空间中实现高效泛化？
• RQ3 基于度量的最近邻方法是否能在数据效率和鲁棒性方面优于固定网格或函数逼近方法，用于真实机器人控制？
• RQ4 如何通过时间记忆和观察序列的连续度量来缓解基于视觉的机器人控制中的部分可观察性问题？
• RQ5 所学习的策略在不重新训练的情况下，对障碍物或目标位置变化的泛化能力有多强？

主要发现

• PC-NSM算法成功使真实移动机器人仅通过视觉输入就学会了导航和定位目标，且无需任何预先构建的环境模型。
• 机器人在约70分钟的训练后达到稳定性能，奖励累积速度随时间加快，第四次试验中仅出现极短的犹豫时间。
• 该算法对环境变化表现出鲁棒性：重新定位目标或障碍物并未导致性能下降，因为策略基于感知而非固定坐标。
• 使用折扣度量使机器人能够通过利用近期视觉历史，在目标短暂不可见时实现恢复，降低了陷入停滞的风险。
• 该方法通过避免人工离散化并实现在不连续性附近的自适应泛化，在数据效率方面优于以往方法。
• 机器人成功导航了复杂场景，包括狭窄通道和镜面反射的墙面缝隙，仅因感知模糊性导致极短延迟。