[论文解读] Domain Adaptation Using Adversarial Learning for Autonomous Navigation

Jaeyoon Yoo, Yongjun Hong+2 more|arXiv (Cornell University)|Dec 11, 2017

Domain Adaptation and Few-Shot Learning参考文献 40被引用 7

一句话总结

该论文提出了一种使用对抗性学习的领域自适应框架，实现仅使用单目相机的自主导航，通过在仿真数据上进行训练并将模型迁移到真实室外环境，无需真实世界标签。通过整合空洞残差网络、循环一致性损失、风格损失以及局部判别器，该方法生成了保持结构内容的同时适应纹理的逼真图像，成功实现了在各种真实世界交叉路口的自主导航，无需人工干预。

ABSTRACT

Autonomous navigation has become an increasingly popular machine learning application. Recent advances in deep learning have also resulted in great improvements to autonomous navigation. However, prior outdoor autonomous navigation depends on various expensive sensors or large amounts of real labeled data which is difficult to acquire and sometimes erroneous. The objective of this study is to train an autonomous navigation model that uses a simulator (instead of real labeled data) and an inexpensive monocular camera. In order to exploit the simulator satisfactorily, our proposed method is based on domain adaptation with adversarial learning. Specifically, we propose our model with 1) a dilated residual block in the generator, 2) cycle loss, and 3) style loss to improve the adversarial learning performance for satisfactory domain adaptation. In addition, we perform a theoretical analysis that supports the justification of our proposed method. We present empirical results of navigation in outdoor courses with various intersections using a commercial radio controlled car. We observe that our proposed method allows us to learn a favorable navigation model by generating images with realistic textures. To the best of our knowledge, this is the first work to apply domain adaptation with adversarial learning to autonomous navigation in real outdoor environments. Our proposed method can also be applied to precise image generation or other robotic tasks.

研究动机与目标

• 解决获取自主导航真实世界标注数据成本高且困难的问题。
• 实现在仅使用仿真器训练的导航模型在真实室外环境中的部署。
• 通过仅使用单目相机而非昂贵的传感器（如GPS或深度相机）来减少对高成本传感器的依赖。
• 通过生成逼真图像的对抗性学习提升领域自适应性能。
• 在具有复杂交叉路口的真实世界室外导航中验证该方法。

提出的方法

• 在生成器中使用带有空洞残差块（DRN）的生成对抗网络（GAN），以增强特征提取能力和感受野。
• 采用循环一致性损失，在从仿真域到真实域的领域迁移过程中保持图像结构和内容。
• 利用预训练VGG网络的特征引入风格损失，以转移真实纹理（如草地、树木）同时保持道路和建筑语义。
• 采用基于局部感受野的判别器，以提升局部图像的真实感并增强跨图像区域的泛化能力。
• 在对抗训练中使用软标签以稳定学习过程并改善领域对齐。
• 在较弱的分布假设下进行理论分析，以证明该领域自适应框架的有效性。

实验结果

研究问题

• RQ1 对抗性领域自适应能否在无需真实世界标签的情况下，有效将仿真数据上训练的导航策略迁移到真实世界室外环境？
• RQ2 循环损失和风格损失在提升领域自适应中生成图像的真实感和泛化能力方面各自发挥什么作用？
• RQ3 引入空洞残差网络在图像翻译中对自主导航性能的提升程度如何？
• RQ4 所提方法能否泛化到具有复杂交叉路口的未见真实世界环境？
• RQ5 使用局部判别器和软标签对领域自适应的稳定性与质量有何影响？

主要发现

• 同时结合DRN、循环损失和风格损失的模型在所有测试路线中均无需人工干预成功完成导航，优于所有基线模型。
• 仅所提模型在所有复杂交叉路口均实现了100%的成功率，证明其对未见环境具有强大的泛化能力。
• t-SNE可视化结果表明，翻译（迁移）后的图像分布与真实目标图像分布高度接近，验证了有效的领域对齐。
• 该方法通过不仅适应颜色还适应纹理，显著降低了领域差异，从而实现了更好的策略泛化。
• 消融实验表明，循环损失和风格损失对真实纹理迁移至关重要，而直方图匹配未能提升性能。
• 上界实验表明，成功的对抗性学习对领域自适应至关重要，因为它使模型能够在不了解目标领域特征的前提下实现泛化。