[论文解读] DIRL: Domain-Invariant Representation Learning for Sim-to-Real Transfer

Ajay Kumar Tanwani|arXiv (Cornell University)|Nov 15, 2020

Machine Learning in Healthcare被引用 7

一句话总结

该论文提出DIRL，一种领域不变表示学习方法，通过对抗学习和三元组分布损失，联合对齐仿真与真实世界领域之间的边缘分布和条件分布。仅使用少量真实世界标注样本，DIRL在数字领域基准上达到最先进性能，并将模拟到真实世界的物体识别准确率从26.8%提升至91.0%，在移动机器人清障任务中实现86.5%的抓取成功率。

ABSTRACT

Generating large-scale synthetic data in simulation is a feasible alternative to collecting/labelling real data for training vision-based deep learning models, albeit the modelling inaccuracies do not generalize to the physical world. In this paper, we present a domain-invariant representation learning (DIRL) algorithm to adapt deep models to the physical environment with a small amount of real data. Existing approaches that only mitigate the covariate shift by aligning the marginal distributions across the domains and assume the conditional distributions to be domain-invariant can lead to ambiguous transfer in real scenarios. We propose to jointly align the marginal (input domains) and the conditional (output labels) distributions to mitigate the covariate and the conditional shift across the domains with adversarial learning, and combine it with a triplet distribution loss to make the conditional distributions disjoint in the shared feature space. Experiments on digit domains yield state-of-the-art performance on challenging benchmarks, while sim-to-real transfer of object recognition for vision-based decluttering with a mobile robot improves from 26.8 % to 91.0 %, resulting in 86.5 % grasping accuracy of a wide variety of objects. Code and supplementary details are available at https://sites.google.com/view/dirl

研究动机与目标

• 为解决视觉机器人在模拟到真实迁移中因仿真数据难以泛化到真实环境而产生的领域偏移问题。
• 克服仅对齐边缘分布的无监督领域自适应方法中存在的模糊性，避免因类别边界错位导致的负迁移。
• 通过使用有限的真实世界标注数据，在共享特征空间中联合对齐边缘分布和条件分布，以提升迁移性能。
• 通过一种新型三元组分布损失减少类内方差、增加类间方差，从而增强特征解耦。
• 实现样本高效的适应，使在仿真中训练的视觉机器人策略可有效部署于真实世界。

提出的方法

• 提出一种领域不变表示学习（DIRL）框架，利用对抗学习对源域（仿真）和目标域（真实）之间的边缘（输入）和条件（输出标签）分布进行对齐。
• 引入一种三元组分布损失，增强共享特征空间中的类间分离度并减少类内方差，促进语义解耦。
• 采用领域判别器通过最小化源域和目标域特征分布之间的差异，强制实现领域不变的特征表示。
• 将对抗领域对齐与三元组损失相结合，在特征空间中联合优化领域不变性和类别可分性。
• 使用改进的SSD主干网络，结合焦点损失和特征金字塔网络，并增加领域分类器以衡量边缘和条件差异。
• 使用少量真实世界标注样本进行模型训练，以引导边缘和条件分布的对齐。

实验结果

研究问题

• RQ1 与仅对齐边缘分布的方法相比，联合对齐边缘和条件分布是否能提升模拟到真实迁移中的泛化性能？
• RQ2 在存在领域偏移的情况下，所提出的三元组分布损失如何影响特征空间的解耦程度和分类性能？
• RQ3 在仅使用少量真实世界标注样本的情况下，该方法在基于合成数据训练的视觉机器人策略中能实现多大程度的有效适应？
• RQ4 在具有大领域偏移的挑战性模拟到真实基准上，DIRL框架是否优于最先进领域自适应方法？
• RQ5 该方法能否在真实世界机器人清障任务中实现对多样化物体的鲁棒、高精度抓取？

主要发现

• 在MNIST基准上，DIRL实现了0.69的平均精度均值（mAP），优于所有对比方法，包括MCD（0.65）和DANN（0.61）。
• 在真实世界测试集上，DIRL实现了91.0%的分类准确率，显著优于仅使用模拟数据的基线方法（26.8%）。
• 轮廓系数（SS）为0.69，表明特征空间中聚类紧密且类间分离良好，表明解耦效果显著。
• 在真实世界移动机器人清障任务中，基于DIRL的物体识别模型准确率达到89.4%，配合抓取规划网络实现86.5%的抓取成功率。
• 若不使用抓取网络，仅实现76.2%的抓取准确率，表明经适应的视觉策略在实现高精度抓取中起着关键作用。
• 该方法能有效处理形状和尺寸多样的物体，失败主要集中在小型、倒置或结构复杂的部件（如碗和组装件）上。