[论文解读] Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning

Junhong Xu, Shangyue Zhu+2 more|arXiv (Cornell University)|Sep 22, 2017

Reinforcement Learning in Robotics参考文献 30被引用 3

一句话总结

本文提出多感官弱监督学习（MS3L），一种自监督模仿学习框架，通过传感器融合自动标注机器人状态，替代机器人导航中的人员标注。该方法在真实室内环境中实现接近人类的性能，并在意外故障期间超越人类操作员，仅需一次人工初始化即可消除训练过程中的迭代专家查询。

ABSTRACT

Imitation learning holds the promise to address challenging robotic tasks such as autonomous navigation. It however requires a human supervisor to oversee the training process and send correct control commands to robots without feedback, which is always prone to error and expensive. To minimize human involvement and avoid manual labeling of data in the robotic autonomous navigation with imitation learning, this paper proposes a novel semi-supervised imitation learning solution based on a multi-sensory design. This solution includes a suboptimal sensor policy based on sensor fusion to automatically label states encountered by a robot to avoid human supervision during training. In addition, a recording policy is developed to throttle the adversarial affect of learning too much from the suboptimal sensor policy. This solution allows the robot to learn a navigation policy in a self-supervised manner. With extensive experiments in indoor environments, this solution can achieve near human performance in most of the tasks and even surpasses human performance in case of unexpected events such as hardware failures or human operation errors. To best of our knowledge, this is the first work that synthesizes sensor fusion and imitation learning to enable robotic autonomous navigation in the real world without human supervision.

研究动机与目标

• 解决模仿学习在机器人导航中人工监督成本高且不准确的问题。
• 通过传感器融合自动标注状态，取代人工标注，消除训练过程中的迭代专家查询。
• 开发一种鲁棒的学习框架，最大限度减少对人工操作员的依赖，同时保持高水平的导航性能。
• 通过使用记录策略控制从次优传感器策略学习的度量，确保自监督训练过程中的安全性。
• 证明机器人可在极少人工干预下学会在真实室内环境中导航，甚至在故障场景下超越人类表现。

提出的方法

• 采用结合成像（RGB）与非成像（深度、IMU）传感器的多感官深度学习框架，生成状态表征。
• 基于传感器融合设计次优传感器策略，自动标注机器人遇到的观测数据，替代人工标注。
• 引入一种受安全策略启发的记录策略，以调节次优传感器策略向导航策略的知识迁移程度。
• 使用单次人工示范初始化导航策略，随后利用机器人自身交互数据进行自监督学习。
• 应用结合模仿学习与β加权记录策略的损失函数，以减轻噪声或错误标签带来的负面影响。
• 使用自主探索过程中收集的数据端到端训练导航策略，最大限度减少对专家反馈的依赖。

实验结果

研究问题

• RQ1 是否仅通过一次初始人工示范，即可在无需迭代人工标注的情况下训练出机器人导航策略？
• RQ2 能否利用传感器融合在真实世界环境中自动生成可靠的模仿学习状态标签？
• RQ3 次优传感器策略在自监督训练中替代人工监督的效果如何？
• RQ4 记录策略在多大程度上缓解了从次优策略学习带来的负面影响？
• RQ5 自监督导航策略是否能在意外故障场景（如硬件故障）下超越人类操作员？

主要发现

• MS3L在三个真实世界导航任务中的两个实现了接近人类的性能，显著降低了对人工监督的依赖。
• 在通过向控制器添加高斯噪声模拟硬件故障的情况下，MS3L表现优于人类操作员，后者无法应对意外事件。
• 在所有测试环境中，导航策略均超越了次优传感器策略，证明了自监督学习过程中有效的自我改进能力。
• MS3L仅需DAgger基线1/2.8的数据量，即可在初始化后实现零人工标注且性能相当或更优。
• β = 0.99的记录策略有效减轻了从次优传感器策略学习带来的负面影响，表现为各次试验中性能稳定。
• 该系统在复杂动态环境（如人群密集的走廊和杂乱的教室）中表现出强鲁棒性，尽管传感器策略因深度估计误差而频繁失效。