[论文解读] Learning to Sequence Robot Behaviors for Visual Navigation

Hadi Salman, Puneet K. Singhal+7 more|arXiv (Cornell University)|Mar 5, 2018

Reinforcement Learning in Robotics参考文献 19被引用 7

一句话总结

该论文提出了一种分层强化学习框架，仅使用单目视觉输入来学习并编排低层次机器人行为，从而提升视觉导航性能。通过训练元策略以动态选择环境特定的低层次策略，该系统在复杂环境中的成功率和累积奖励显著高于单一策略或人工编排的策略序列。

ABSTRACT

Recent literature in the robotics community has focused on learning robot behaviors that abstract out lower-level details of robot control. To fully leverage the efficacy of such behaviors, it is necessary to select and sequence them to achieve a given task. In this paper, we present an approach to both learn and sequence robot behaviors, applied to the problem of visual navigation of mobile robots. We construct a layered representation of control policies composed of low- level behaviors and a meta-level policy. The low-level behaviors enable the robot to locomote in a particular environment while avoiding obstacles, and the meta-level policy actively selects the low-level behavior most appropriate for the current situation based purely on visual feedback. We demonstrate the effectiveness of our method on three simulated robot navigation tasks: a legged hexapod robot which must successfully traverse varying terrain, a wheeled robot which must navigate a maze-like course while avoiding obstacles, and finally a wheeled robot navigating in the presence of dynamic obstacles. We show that by learning control policies in a layered manner, we gain the ability to successfully traverse new compound environments composed of distinct sub-environments, and outperform both the low-level behaviors in their respective sub-environments, as well as a hand-crafted selection of low-level policies on these compound environments.

研究动机与目标

• 通过基于视觉反馈学习并编排行为序列，使移动机器人能够自主导航复杂且复合的环境。
• 克服在动态或异构环境中，人工设计的行为选择方式与固定低层次策略的局限性。
• 开发一种元策略，仅使用原始视觉观测即可在多样化子环境中实现泛化。
• 证明学习行为序列可提升性能，优于单一低层次策略及确定性人工编排的策略选择。

提出的方法

• 该框架采用两级层次结构：低层次策略通过深度Q学习进行训练，利用原始单目摄像头输入在特定环境中执行移动与避障。
• 元策略通过深度Q学习进行训练，根据当前视觉观测选择最合适的低层次策略。
• 低层次策略针对不同的子环境（例如，有纹理的墙壁、粗糙地形、迷宫式路径）进行定制，每个子环境具有独特的视觉与结构特征。
• 元策略在复合环境中进行训练，该环境结合了多个子环境，以促进泛化与自适应切换。
• 系统采用马尔可夫决策过程（MDP）建模，并引入时间抽象，将行为序列建模为分层决策过程。
• 训练在Gazebo仿真环境中进行，评估涵盖静态与动态障碍物环境，以测试鲁棒性。

实验结果

研究问题

• RQ1 仅基于视觉输入训练的元策略是否能有效编排低层次机器人行为，从而在复合环境中比单一策略实现更高的导航成功率？
• RQ2 学习得到的元策略性能与基于预定义规则选择行为的确定性人工编排策略相比如何？
• RQ3 当在混合视觉输入上进行训练时，元策略在多样化子环境中的泛化能力达到何种程度？
• RQ4 学习行为序列是否能带来相比仅使用低层次策略更高的累积奖励与任务成功率？

主要发现

• 在复合环境中，学习得到的元策略在10个实验周期内的平均累积奖励达到988.5，显著高于人工编排策略（669.3）和低层次策略（408.9）。
• 元策略在复合环境中的路径完整 traversed 成功率为80%，而单一低层次策略在该设置下完全失败（0%成功率）。
• 元策略通过基于视觉反馈在低层次策略之间自适应切换——在直线路段使用π₁，在转弯处使用π₂——实现了鲁棒导航。
• 元策略能够交错执行不同行为，避免了在孤立使用低层次策略时即使在各自训练环境中也发生的碰撞问题。
• 该系统在性能上优于低层次策略在其原生环境中的表现以及人工编排策略，证明了学习编排策略的优势。
• 元策略能有效泛化至由不同子环境构成的新复合环境，表现出对环境构成变化的鲁棒性。