[论文解读] Federated Imitation Learning: A Privacy Considered Imitation Learning Framework for Cloud Robotic Systems with Heterogeneous Sensor Data

Boyi Liu, Lujia Wang+2 more|arXiv (Cornell University)|Sep 3, 2019

Robotics and Automated Systems参考文献 25被引用 4

一句话总结

本文提出联邦模仿学习（Federated Imitation Learning, FIL），一种面向云机器人的隐私保护框架，使本地机器人能够通过中央云平台从其他机器人迁移知识，从而在不共享原始数据的前提下提升模仿学习的准确率与效率。FIL采用知识融合算法聚合异构传感器数据（RGB、深度、语义分割），并基于迁移学习的方案适配预训练模型，在恶劣天气条件下相比标准模仿学习，误差率最高降低75%。

ABSTRACT

Humans are capable of learning a new behavior by observing others perform the skill. Robots can also implement this by imitation learning. Furthermore, if with external guidance, humans will master the new behavior more efficiently. So how can robots implement this? To address the issue, we present Federated Imitation Learning (FIL) in the paper. Firstly, a knowledge fusion algorithm deployed on the cloud for fusing knowledge from local robots is presented. Then, effective transfer learning methods in FIL are introduced. With FIL, a robot is capable of utilizing knowledge from other robots to increase its imitation learning. FIL considers information privacy and data heterogeneity when robots share knowledge. It is suitable to be deployed in cloud robotic systems. Finally, we conduct experiments of a simplified self-driving task for robots (cars). The experimental results demonstrate that FIL is capable of increasing imitation learning of local robots in cloud robotic systems.

研究动机与目标

• 为解决由于数据孤立与隐私约束导致的云机器人系统中模仿学习效率低下与泛化能力差的问题。
• 使本地机器人能够在不共享原始传感器数据的前提下，受益于其他机器人所获取的知识。
• 设计一种可扩展的框架，以隐私保护的方式支持异构传感器模态（RGB、深度、语义分割）的集成。
• 提升在多样化环境条件下模仿学习策略的训练效率与鲁棒性。
• 在具有真实世界天气变化特征的模拟自动驾驶任务中验证该框架。

提出的方法

• 提出一种联邦模仿学习（Federated Imitation Learning, FIL）框架，将知识共享与原始数据传输解耦，确保隐私安全。
• 引入一种知识融合算法，将来自本地机器人、具有异构传感器输入的模型，在云端聚合为统一的引导模型。
• 采用基于迁移学习的知识迁移方案，使本地机器人利用自身数据微调云端预训练模型。
• 应用统一化过程，对齐不同仿真平台（CARLA与AirSim）之间的语义分割表示。
• 使用集中式云服务器存储并更新共享知识，支持持续学习与模型演化。
• 采用行为克隆的模仿学习方法，在多样化传感器数据上训练策略，随后通过迁移学习实现适应。

实验结果

研究问题

• RQ1 在云机器人系统中，如何以隐私保护的方式融合来自多个具有异构传感器数据的机器人知识？
• RQ2 从中心云模型迁移知识在多大程度上能提升本地机器人模仿学习的准确率与训练效率？
• RQ3 与标准模仿学习相比，FIL在雨天、雪天、雾天和沙尘等恶劣环境条件下表现如何？
• RQ4 所提出的框架是否能在不共享原始数据的前提下，实现对不同传感器模态（RGB、深度、分割）的泛化？
• RQ5 预训练云模型对降低模仿学习的训练误差与收敛时间有何影响？

主要发现

• 在正常条件下，RGB图像的迁移策略将误差率从17.39%降低至4.35%；在沙尘条件下，误差率从52.17%降低至39.13%。
• 在雪天条件下，深度图像的迁移策略误差从8.70%上升至10.87%，相比通用策略表现出更强的鲁棒性。
• 对于语义分割任务，迁移策略在正常与雨天条件下保持2.17%的误差率，优于通用策略在雾天的性能（误差率21.74% vs. 17.39%的误差降低）。
• FIL的训练过程表现出更低的初始误差与更快的收敛速度，如图10所示，表明样本效率得到显著提升。
• 在恶劣天气条件下，框架展现出显著的性能增益，迁移的RGB策略在雾天与沙尘条件下误差降低超过75%。
• 知识融合算法成功整合了来自不同传感器模态的异构模型，实现了跨平台的迁移学习，即使存在领域偏移也有效。