[论文解读] Domain-Invariant Representation Learning for Sim-to-Real Transfer

Ajay Kumar Tanwani|arXiv (Cornell University)|Nov 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 9

一句话总结

本文提出领域不变表示学习（DIRL），一种通过对抗学习和三元组损失联合对齐仿真与真实领域之间的边缘分布和条件分布的方法，以提升模拟到真实世界的迁移性能。该方法在基于视觉的清理任务中实现了91.0%的物体识别准确率，将抓取准确率提升至86.5%。

ABSTRACT

Generating large-scale synthetic data in simulation is a feasible alternative to collecting/labelling real data for training vision-based deep learning models, albeit the modelling inaccuracies do not generalize to the physical world. In this paper, we present a domain-invariant representation learning (DIRL) algorithm to adapt deep models to the physical environment with a small amount of real data. Existing approaches that only mitigate the covariate shift by aligning the marginal distributions across the domains and assume the conditional distributions to be domain-invariant can lead to ambiguous transfer in real scenarios. We propose to jointly align the marginal (input domains) and the conditional (output labels) distributions to mitigate the covariate and the conditional shift across the domains with adversarial learning, and combine it with a triplet distribution loss to make the conditional distributions disjoint in the shared feature space. Experiments on digit domains yield state-of-the-art performance on challenging benchmarks, while sim-to-real transfer of object recognition for vision-based decluttering with a mobile robot improves from 26.8 % to 91.0 %, resulting in 86.5 % grasping accuracy of a wide variety of objects. Code and supplementary details are available at this https URL

研究动机与目标

• 为缓解模拟与真实世界基于视觉的学习之间的泛化差距，减轻协变量偏移和条件域偏移。
• 在仅使用少量真实世界数据的前提下，提升模拟到真实世界的迁移性能。
• 开发一种表示学习方法，确保领域不变的特征，以实现鲁棒的真实世界部署。
• 利用合成数据实现在非结构化环境中高精度的机器人物体识别与抓取。

提出的方法

• 提出对抗域自适应方法，以对齐仿真与真实领域之间的输入（边缘）分布。
• 引入基于对抗学习的条件分布对齐，以减少输出预测中的域偏移。
• 采用三元组损失，在共享特征空间中强制实现类间可分性，使条件分布相互分离。
• 在统一的训练目标中结合边缘分布与条件分布对齐以及三元组损失。
• 使用共享编码器网络，为两个领域提取领域不变的特征。
• 使用真实世界数据和仿真数据联合进行端到端训练。

实验结果

研究问题

• RQ1 联合对齐边缘分布与条件分布是否能提升视觉机器人任务中的模拟到真实世界迁移性能？
• RQ2 与仅依赖边缘对齐的方法相比，条件分布对齐在模型泛化方面有何影响？
• RQ3 三元组损失在多大程度上增强了共享表示空间中的特征解耦与领域不变性？
• RQ4 仅使用少量真实数据时，能否在真实世界机器人物体识别中实现显著性能提升？
• RQ5 在具有挑战性的模拟到真实世界基准上，DIRL与最先进方法相比表现如何？

主要发现

• 所提出的DIRL方法在真实世界基于视觉的清理任务中实现了91.0%的物体识别准确率，显著优于基线方法。
• 使用DIRL训练的模型后，对各类物体的抓取准确率提升至86.5%，证明了其在真实世界中的鲁棒部署能力。
• 该方法在具有挑战性的数字域基准上达到最先进性能，验证了其在域偏移缓解方面的有效性。
• 联合对齐边缘分布与条件分布的策略比仅依赖边缘分布对齐的方法具有更好的泛化能力。
• 对抗学习与三元组损失的结合，使共享表示空间中的特征更具判别性与领域不变性。