[论文解读] Danger-aware Weighted Advantage Composition of Deep Reinforcement Learning for Robot Navigation.

Wěi Zhāng, Yunfeng Zhang+1 more|arXiv (Cornell University)|Sep 11, 2018

Robotic Path Planning Algorithms被引用 5

一句话总结

本文提出了一种危险感知的优势组合方法，将两个独立的深度Q网络（一个用于目标到达，一个用于障碍物避让）融合为一个统一的导航策略，无需重新训练。通过根据环境危险程度动态加权优势，该方法在复杂、未知环境中实现了更快、更安全的导航，在诸如目标被墙遮挡等具有挑战性的场景中表现出稳健性能。

ABSTRACT

Self-navigation, referring to automatically reaching the goal while avoiding collision with obstacles, is a fundamental skill of mobile robots. Currently, Deep Reinforcement Learning (DRL) can enable the robot to navigate in a more complex environment with less computation power compared to conventional methods. However, it is time-consuming and hard to train the robot to learn goal-reaching and obstacle-avoidance skills simultaneously using DRL-based algorithms. In this paper, two Dueling Deep Q Networks (DQN) named Goal Network and Avoidance Network are used to learn the goal-reaching and obstacle-avoidance skills individually. A novel method named danger-aware advantage composition is proposed to fuse the two networks together without any redesigning and retraining. The composed Navigation Network can enable the robot to reach the goal right behind the wall and to navigate in unknown complexed environment safely and quickly.

研究动机与目标

• 解决使用深度强化学习在复杂环境中同时学习目标到达与障碍物避让的移动机器人训练挑战。
• 通过将目标到达与障碍物避让解耦为两个专用的双-stream DQN 网络，减少训练时间和复杂度。
• 开发一种无需重新训练的融合机制，将两个网络结合，实现实时、自适应的导航。
• 在未知、杂乱的环境中提升安全性与效率，包括目标被墙壁遮挡的场景。

提出的方法

• 训练两个独立的双流深度Q网络（DQN）：一个用于目标到达（目标网络），一个用于障碍物避让（避让网络）。
• 危险感知的优势组合机制根据局部危险水平，计算两个网络Q值优势的加权和。
• 危险水平从传感器输入中估计，例如与障碍物的距离，以在动作选择过程中动态调整每个网络的影响。
• 融合过程通过保留原始网络策略并利用学习或启发式加权组合其输出，避免重新训练。
• 组合后的导航网络利用融合的优势选择在目标推进与安全性之间取得平衡的动作。
• 该方法设计为模块化，兼容现有DRL框架，支持即插即用的集成。

实验结果

研究问题

• RQ1 能否通过使用独立的DQN网络，减少训练复杂度，实现目标到达与障碍物避让的独立学习？
• RQ2 如何在不重新训练的前提下，有效融合两个预训练的DQN策略，以保持性能与安全性？
• RQ3 动态危险评估在提升复杂、未知环境中导航鲁棒性方面起到什么作用？
• RQ4 所提出的融合方法是否能实现在如目标被墙遮挡等具有挑战性场景下的导航？
• RQ5 与固定或启发式融合策略相比，危险感知加权机制在安全性与收敛速度方面表现如何？

主要发现

• 所提方法使机器人能够成功到达直接位于墙壁后方的目标，这是标准DRL方法难以实现的场景。
• 危险感知融合机制通过在高风险区域优先考虑障碍物避让，提升了导航安全性。
• 通过解耦目标到达与障碍物避让技能的学习，该方法显著减少了训练时间与复杂度。
• 与端到端DRL基线相比，组合后的导航网络在未知、复杂环境中实现了更快的收敛速度与更稳定的性能。
• 该方法在动态与杂乱环境中表现出鲁棒性，无需架构重构或重新训练。
• 融合机制通过根据实时危险评估调节各网络的影响，有效平衡了探索与利用。