[论文解读] Hierarchically Integrated Models: Learning to Navigate from Heterogeneous Robots

Katie Kang, Gregory Kahn+1 more|arXiv (Cornell University)|Jun 24, 2021

Modular Robots and Swarm Intelligence被引用 1

一句话总结

该论文提出HInt，一种深度强化学习算法，该算法在异构机器人数据集上分别训练感知模型和动力学模型，并在推理阶段以分层方式整合这些模型，从而实现鲁棒的导航。通过尊重部署机器人的真实物理能力，HInt在移动导航任务中优于传统的分层策略和单源方法。

ABSTRACT

Deep reinforcement learning algorithms require large and diverse datasets in order to learn successful policies for perception-based mobile navigation. However, gathering such datasets with a single robot can be prohibitively expensive. Collecting data with multiple different robotic platforms with possibly different dynamics is a more scalable approach to large-scale data collection. But how can deep reinforcement learning algorithms leverage such heterogeneous datasets? In this work, we propose a deep reinforcement learning algorithm with hierarchically integrated models (HInt). At training time, HInt learns separate perception and dynamics models, and at test time, HInt integrates the two models in a hierarchical manner and plans actions with the integrated model. This method of planning with hierarchically integrated models allows the algorithm to train on datasets gathered by a variety of different platforms, while respecting the physical capabilities of the deployment robot at test time. Our mobile navigation experiments show that HInt outperforms conventional hierarchical policies and single-source approaches.

研究动机与目标

• 为解决使用单一机器人收集大规模基于感知的导航数据的高昂成本问题。
• 使深度强化学习算法能够有效利用来自动力学特性不同的机器人所收集的异构数据集。
• 在推理阶段规划中尊重部署机器人的物理约束，开发一种方法。
• 通过在分层框架中整合感知与动力学模型，提升导航性能。

提出的方法

• HInt在来自多种动力学特性不同的机器人平台所收集的多样化机器人数据集上，分别训练感知模型和动力学模型。
• 在推理阶段，HInt以分层方式整合感知与动力学模型，生成尊重部署机器人物理能力的动作。
• 分层整合使得规划能够结合高层感知决策与低层动力学控制。
• 该方法采用两级决策结构：高层策略基于感知结果选择导航目标，低层策略利用动力学模型执行运动规划。
• 通过解耦感知与动力学学习，该框架支持跨机器人模型的迁移学习。
• 该方法通过将动作限制在部署机器人的动力学极限范围内，确保动作执行的安全性与可行性。

实验结果

研究问题

• RQ1 深度强化学习能否有效利用来自动力学特性不同的机器人所收集的异构机器人数据集？
• RQ2 如何分层整合感知与动力学模型，以在尊重机器人特异性物理约束的前提下提升导航性能？
• RQ3 所提出的分层整合方法是否在移动导航任务中优于传统的分层策略和单源训练方法？
• RQ4 该方法在推理阶段部署时，对不同机器人平台的泛化能力如何？

主要发现

• 与传统的分层策略相比，HInt在移动导航任务中实现了更优的导航性能。
• 该方法通过以尊重部署机器人物理能力的方式整合感知与动力学模型，成功实现了在不同机器人平台间的泛化。
• 在多样化异构数据集上训练时，HInt表现出更高的样本效率和更强的鲁棒性。
• 模型的分层整合使得动作规划效果优于端到端或单源训练方法。