[论文解读] Federated Transfer Reinforcement Learning for Autonomous Driving

Xinle Liang, Yang Liu+3 more|arXiv (Cornell University)|Oct 14, 2019

Autonomous Vehicle Technology and Safety被引用 38

一句话总结

本论文提出一个在线联邦强化学习迁移框架（FTRL），使异构代理在仿真器和现实世界环境中实现实时知识共享，适用于自动驾驶，并在 AirSim 和 JetsonTX2 RC 车上验证，显示提升的避撞性能。

ABSTRACT

Reinforcement learning (RL) is widely used in autonomous driving tasks and training RL models typically involves in a multi-step process: pre-training RL models on simulators, uploading the pre-trained model to real-life robots, and fine-tuning the weight parameters on robot vehicles. This sequential process is extremely time-consuming and more importantly, knowledge from the fine-tuned model stays local and can not be re-used or leveraged collaboratively. To tackle this problem, we present an online federated RL transfer process for real-time knowledge extraction where all the participant agents make corresponding actions with the knowledge learned by others, even when they are acting in very different environments. To validate the effectiveness of the proposed approach, we constructed a real-life collision avoidance system with Microsoft Airsim simulator and NVIDIA JetsonTX2 car agents, which cooperatively learn from scratch to avoid collisions in indoor environment with obstacle objects. We demonstrate that with the proposed framework, the simulator car agents can transfer knowledge to the RC cars in real-time, with 27% increase in the average distance with obstacles and 42% decrease in the collision counts.

研究动机与目标

• 解决自动驾驶 RL 工作流中耗时的离线模型迁移，并突破本地知识孤岛。
• 提出一个支持异步更新和跨环境知识共享的在线联邦 RL 迁移框架（FTRL）。
• 在真实的 JetsonTX2 RC 车和 Microsoft AirSim 仿真器上验证 FTRL 的碰撞避免任务。
• 证明在线迁移与联邦化相较于非联邦的本地训练能提升学习速度与评估指标。

提出的方法

• 将联邦学习（FedAvg）与迁移学习相结合，以在不同环境中实现跨代理的异步 RL 更新。
• 以 Deep Deterministic Policy Gradient (DDPG) 作为底层 RL 方法，结合在线迁移机制，使跨环境的观测和动作对齐（s_t = beta_i s_t^i; a_t^i = a_t * |Max a^i|）。
• 联邦模型 w_fed^θ 的更新为本地模型的平均值（w_fed^θ = (1/N) Σ_i w_i^θ）。
• 定义并应用条件于下一个状态的奖励函数 r_t(s_{t+1})，其中包含用于安全距离和障碍惩罚的特定项（Eq. 2）。
• 实现带本地更新间隔 t_u 和联邦间隔 t_f 的异步训练；服务器聚合模型并分发联邦模型。
• 描述 DDPG 网络结构（actor 和 critic 含 3 个全连接层，每层 128 单元）以及标准 RL 设置（γ=0.99, τ=0.02, lr=1e-4, 回放缓冲区=2500, 批量=32）。
• 详细说明异质传感器（LIDAR）和非同质环境的迁移机制，通过观测和动作缩放（β_i, Max action normalization）实现。

实验结果

研究问题

• RQ1 在线迁移和联邦化是否能在非同任务/环境之间实现知识共享（仿真器与真实机器人）？
• RQ2 与单次非联邦 RL 训练相比，FTRL 是否能提高训练速度和评估性能？
• RQ3 在线仿真器到现实的知识迁移在自动驾驶碰撞避免任务中是否可行且有益？

主要发现

• FTRL 和 FTRL-SIM 相较于基线 DDPG 在测试场景中展现出更高的相对性能。
• 相比 DDPG，FTRL 在三辆 RC 车 car1、car2、car3 上实现平均距离提升和碰撞次数减少。
• FTRL-DDPG-SIM 通过将 AirSim 模拟中的知识迁移到真实车辆，进一步提升性能，获得更大的相对增益。
• 表 I 显示每辆车的结果：DDPG (car1: avg_dist 0.39, coll_no 18; car2: 0.29, 31; car3: 0.38, 24); FTRL-DDPG (car1: 0.42, 9; car2: 0.37, 27; car3: 0.51, 17); FTRL-DDPG-SIM (car1: 0.45, 12; car2: 0.39, 16; car3: 0.50, 13)。
• 总体改进报告：对含障碍物的平均距离平均提升 20.3%，碰撞减少 30.7%（FTRL-DDPG）；对 FTRL-DDPG-SIM，平均距离提升 27.2%，碰撞减少 42.5%，在测试赛中平均。