[论文解读] Improving Generalization of Transfer Learning Across Domains Using Spatio-Temporal Features in Autonomous Driving

Shivam Akhauri, Laura Zheng+2 more|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用 9

一句话总结

该论文提出了一种用于自动驾驶的两阶段迁移学习框架，通过CNN-LSTM架构迁移时空特征，并结合显著性、梯度和边缘图增强训练，从而提升跨域泛化能力。与最先进（SOTA）基线方法相比，该方法在未见的仿真和真实世界领域中，测试准确率最高提升37.3%，转向角预测性能提升40.8%。

ABSTRACT

Practical learning-based autonomous driving models must be capable of generalizing learned behaviors from simulated to real domains, and from training data to unseen domains with unusual image properties. In this paper, we investigate transfer learning methods that achieve robustness to domain shifts by taking advantage of the invariance of spatio-temporal features across domains. In this paper, we propose a transfer learning method to improve generalization across domains via transfer of spatio-temporal features and salient data augmentation. Our model uses a CNN-LSTM network with Inception modules for image feature extraction. Our method runs in two phases: Phase 1 involves training on source domain data, while Phase 2 performs training on target domain data that has been supplemented by feature maps generated using the Phase 1 model. Our model significantly improves performance in unseen test cases for both simulation-to-simulation transfer as well as simulation-to-real transfer by up to +37.3\% in test accuracy and up to +40.8\% in steering angle prediction, compared to other SOTA methods across multiple datasets.

研究动机与目标

• 通过利用跨域中不变的时空特征，解决端到端自动驾驶中的域偏移挑战。
• 提升在视觉分布显著不同的仿真到真实世界驾驶场景中的泛化能力。
• 通过结合模型级特征迁移与基于显著性、梯度和边缘图的数据级增强，提升迁移学习性能。
• 证明时空动态特征比仅空间特征更具域无关性，从而实现更好的可迁移性。
• 在多种数据集上，对碰撞分类和端到端转向预测任务进行评估。

提出的方法

• 在第一阶段使用源域数据（如CARLA Town 3）训练CNN-LSTM模型，以学习空间和时间特征。
• 利用在多样化数据集上预训练的外部分类器，从第一阶段模型中提取显著性图、梯度图和边缘图。
• 在第二阶段使用第一阶段迁移的CNN权重和LSTM隐藏状态嵌入初始化目标域模型。
• 通过生成的显著图增强目标域训练数据，以改善特征表示和泛化能力。
• 使用余弦相似度指导数据增强过程中相关时空特征的选择。
• 在增强输入下，对第二阶段模型进行端到端训练，实现对未见域的稳健适应。

实验结果

研究问题

• RQ1 在某一领域学习到的时空特征能否有效迁移到视觉分布存在差异的另一领域，以提升性能？
• RQ2 结合模型级迁移（CNN权重和LSTM隐藏状态）与数据级增强（显著性、梯度、边缘图）对自动驾驶中的泛化能力有何影响？
• RQ3 与仅使用空间特征相比，时空特征在低相似度领域（如模拟到真实）中能多大程度提升迁移性能？
• RQ4 显著性数据增强是否能提升端到端驾驶模型在迁移学习中的收敛速度和鲁棒性？
• RQ5 所提出方法在模拟到模拟和模拟到真实迁移设置下，与SOTA迁移学习方法相比表现如何？

主要发现

• 与SOTA方法相比，该方法在未见的仿真领域中，测试准确率最高提升37.3%。
• 在端到端转向预测任务中，该方法在模拟到模拟设置下误差降低最多40.8%，在模拟到真实设置下误差降低最多23.7%。
• 同时迁移CNN权重和LSTM隐藏状态，相比仅迁移其中任一者，能实现更快的收敛速度和更优性能。
• 显著性、梯度和边缘图增强在低相似度领域（如模拟到真实）中显著提升泛化能力，此时仅模型迁移已不足以应对挑战。
• 消融实验证实，架构级时空特征迁移与数据级增强在性能提升中均独立且协同发挥作用。
• 该方法在多种数据集（包括CARLA、DeepDrive、Udacity、Audi、Waymo和Honda）上均表现出良好泛化能力，证明了其对域偏移的鲁棒性。