[论文解读] Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation

Markus Wulfmeier, Alex Bewley+1 more|arXiv (Cornell University)|Mar 4, 2017

Generative Adversarial Networks and Image Synthesis被引用 15

一句话总结

该论文提出了一种对抗性域自适应（ADA）框架，以解决户外机器人中因外观变化带来的挑战，采用无监督域自适应方法对齐源域（带标签的训练数据）与目标域（无标签的部署环境）之间的特征。通过在FCN-VGG16上应用混淆损失和局部感受野判别器，该方法在自动驾驶的自由空间分割任务中实现了显著的性能提升，即使在严重的昼夜域偏移下也表现良好。

ABSTRACT

Appearance changes due to weather and seasonal conditions represent a strong impediment to the robust implementation of machine learning systems in outdoor robotics. While supervised learning optimises a model for the training domain, it will deliver degraded performance in application domains that underlie distributional shifts caused by these changes. Traditionally, this problem has been addressed via the collection of labelled data in multiple domains or by imposing priors on the type of shift between both domains. We frame the problem in the context of unsupervised domain adaptation and develop a framework for applying adversarial techniques to adapt popular, state-of-the-art network architectures with the additional objective to align features across domains. Moreover, as adversarial training is notoriously unstable, we first perform an extensive ablation study, adapting many techniques known to stabilise generative adversarial networks, and evaluate on a surrogate classification task with the same appearance change. The distilled insights are applied to the problem of free-space segmentation for motion planning in autonomous driving.

研究动机与目标

• 解决由于天气、昼夜变化和季节更替导致的外观变化所引起的户外机器人性能下降问题。
• 将外观变化问题重新构型为无监督域自适应问题，从而实现在无需目标域标签情况下的部署。
• 开发一种稳定且可泛化的框架，以实现对现有深度神经网络（如AlexNet和FCN-VGG16）在不同域之间的适应。
• 研究对抗性训练在真实世界机器人应用中的训练稳定性与超参数敏感性。
• 在对运动规划至关重要的复杂像素级分割任务上，验证该方法的有效性。

提出的方法

• 应用对抗性域自适应（ADA）方法，通过域判别器对齐源域与目标域之间的边缘特征分布。
• 采用混淆损失目标以稳定训练过程，并在编码器中平衡监督学习与对抗性学习目标。
• 在分割任务中引入局部感受野判别器，以提升局部特征对齐效果与整体性能。
• 在代理分类任务（场景识别）上进行广泛的消融实验，以识别最优训练配置。
• 将提炼出的优化策略（如网络中间层分割、监督预热）应用于全尺度的自由空间分割任务。
• 采用梯度裁剪与精细的超参数调优，以缓解对抗性训练中的不稳定性。

实验结果

研究问题

• RQ1 在户外机器人背景下，如何稳定对抗性域自适应训练，并有效平衡监督学习与对抗性学习目标？
• RQ2 在深层网络中，域判别器的分割层放置在何处可获得最佳域自适应性能？
• RQ3 架构选择（如使用局部感受野判别器）如何影响像素级分割任务的性能表现？
• RQ4 ADA在严重域偏移（如昼夜外观变化）下能带来多大程度的性能提升？
• RQ5 ADA是否可作为正则化方法，在源域内也因引入更多无标签数据而提升性能？

主要发现

• 与标准GAN损失相比，混淆损失显著提升了对抗性域自适应中的训练稳定性和性能表现。
• 将域判别器的分割层置于网络中间层时性能最佳，而过早放置则会降低结果。
• 在分割任务中，局部感受野判别器优于全局判别器，显著提升了特征层级的对齐效果。
• ADA在自由空间分割任务中实现了显著的性能增益，目标域上的mIoU提升最高达15%。
• 即使在源域内，随着无标签数据的增加，性能也持续提升，表明ADA具有正则化作用。
• 尽管存在严重域偏移（如白天到夜晚），ADA仍能带来性能改进，但若损失权重设置不当，可能导致性能下降。