[论文解读] Modular Vehicle Control for Transferring Semantic Information Between Weather Conditions Using GANs

Patrick Wenzel, Qadeer Khan+2 more|arXiv (Cornell University)|Jul 3, 2018

Autonomous Vehicle Technology and Safety参考文献 15被引用 5

一句话总结

本文提出了一种模块化车辆控制框架，通过生成对抗网络（GANs）在不同天气条件下迁移语义知识，使仅在一个天气条件下训练的单一控制模块能够泛化至未见过的天气条件。通过使用基于CycleGAN的无监督域自适应方法训练感知模块，该方法在无需收集新转向标签的情况下，实现了与在15种天气条件下训练的模型相当的端到端性能。

ABSTRACT

Even though end-to-end supervised learning has shown promising results for sensorimotor control of self-driving cars, its performance is greatly affected by the weather conditions under which it was trained, showing poor generalization to unseen conditions. In this paper, we show how knowledge can be transferred using semantic maps to new weather conditions without the need to obtain new ground truth data. To this end, we propose to divide the task of vehicle control into two independent modules: a control module which is only trained on one weather condition for which labeled steering data is available, and a perception module which is used as an interface between new weather conditions and the fixed control module. To generate the semantic data needed to train the perception module, we propose to use a generative adversarial network (GAN)-based model to retrieve the semantic information for the new conditions in an unsupervised manner. We introduce a master-servant architecture, where the master model (semantic labels available) trains the servant model (semantic labels not available). We show that our proposed method trained with ground truth data for a single weather condition is capable of achieving similar results on the task of steering angle prediction as an end-to-end model trained with ground truth data of 15 different weather conditions.

研究动机与目标

• 解决端到端学习在自动驾驶中面对未见天气条件时泛化能力差的问题。
• 消除为每种新天气条件收集新真实转向数据的需求。
• 利用无监督学习，将已标注天气条件的语义知识迁移到未标注、未见过的天气条件中。
• 解耦感知与控制模块，使得仅需为新环境重新训练感知模块，而无需重新训练控制模块。
• 证明单一控制模块可通过基于GAN的感知接口，在多种天气条件下实现稳健性能。

提出的方法

• 将车辆控制任务划分为两个独立模块：一个感知模块（编码器-解码器）和一个在单一天气条件下通过模仿学习训练的控制模块。
• 在一种天气条件（例如默认条件）的语义标签上训练主感知模块，以从RGB图像中提取潜在表征。
• 使用CycleGAN训练从属感知模块，将未见天气条件的图像翻译至主模块的域，实现在无配对数据情况下的语义特征提取。
• 通过将未见天气域的图像翻译至主域，CycleGAN生成未见天气条件的合成语义图，仅使用无配对图像。
• 控制模块保持固定，仅在部署至新天气条件时替换感知模块，确保控制策略无需重新训练。
• 系统采用主-从架构，主模块（已标注）通过对抗自适应训练从属模块（未标注），实现无监督语义迁移。

实验结果

研究问题

• RQ1 仅在一个天气条件下训练的单一控制策略，是否能在不收集新标注数据的情况下泛化至多种未见天气条件？
• RQ2 基于GAN的无监督域自适应在保留多种天气条件下语义结构方面有多高效，适用于自动驾驶？
• RQ3 采用固定控制模块与可替换感知模块的模块化架构，是否能在零样本天气泛化中优于端到端学习？
• RQ4 CycleGAN生成的语义图对低能见度或极端天气条件下转向策略性能有何影响？
• RQ5 通过主-从感知训练框架，从已标注域向多个未标注域迁移语义知识的范围有多大？

主要发现

• 该模块化从属模型在15种天气条件下实现了96%的平均成功率，与在全部15种条件下训练的端到端模型性能相当。
• 模型在晴天和默认天气条件下成功完成了100%的弯道行驶，在15种条件中的11种中保持了超过88%的成功率。
• 性能仅在HardRainSunset（第13种条件）下降，由于能见度低和CycleGAN生成的语义质量差，成功率为63%。
• 该模块化方法优于仅在一个或少数几种条件下训练的端到端模型，尤其在与训练域差异较大的条件下表现更优。
• 该方法实现了对未见天气条件的完整泛化，无需收集新转向指令或重新训练控制模块。
• 主-从GAN框架成功实现了无监督的跨域语义信息迁移，使控制具备鲁棒性，且对数据依赖性极低。