[论文解读] Robot Learning in Homes: Improving Generalization and Reducing Dataset Bias

Abhinav Gupta, Adithyavairavan Murali+2 more|arXiv (Cornell University)|Jul 18, 2018

Robot Manipulation and Learning被引用 61

一句话总结

本论文在六个真实家庭使用低成本机器人收集了规模达28k的抓取数据集，提出一种对标签噪声鲁棒的学习架构来建模标签噪声，并展示相对于在实验室训练的基线（43.7% 的改进）和 DexNet 基线的显著泛化提升，同时噪声建模带来约10%的收益。

ABSTRACT

Data-driven approaches to solving robotic tasks have gained a lot of traction in recent years. However, most existing policies are trained on large-scale datasets collected in curated lab settings. If we aim to deploy these models in unstructured visual environments like people's homes, they will be unable to cope with the mismatch in data distribution. In such light, we present the first systematic effort in collecting a large dataset for robotic grasping in homes. First, to scale and parallelize data collection, we built a low cost mobile manipulator assembled for under 3K USD. Second, data collected using low cost robots suffer from noisy labels due to imperfect execution and calibration errors. To handle this, we develop a framework which factors out the noise as a latent variable. Our model is trained on 28K grasps collected in several houses under an array of different environmental conditions. We evaluate our models by physically executing grasps on a collection of novel objects in multiple unseen homes. The models trained with our home dataset showed a marked improvement of 43.7% over a baseline model trained with data collected in lab. Our architecture which explicitly models the latent noise in the dataset also performed 10% better than one that did not factor out the noise. We hope this effort inspires the robotics community to look outside the lab and embrace learning based approaches to handle inaccurate cheap robots.

研究动机与目标

• 证明在多样化家用环境中收集机器人抓取数据可以减少数据集偏差并改善泛化。
• 证明低成本机器人引入标签噪声，且可以显式建模以提升学习。
• 提供一个可扩展的数据收集与学习框架，能够泛化到未见的家庭和物体。

提出的方法

• 组装一台低于$3k 的移动操作臂，在六个家庭中收集28k抓取示例。
• 将嘈声标签建模为潜在变量，并训练一个鲁棒抓取架构，该架构将抓取预测网络（GPN）和噪声建模网络（NMN）与一个边缘化层相结合。
• 基于补丁的抓取公式：在候选抓取周围采样九个图像补丁，并预测每个补丁及角度的成功概率。
• 使用全局场景信息、机器人ID和抓取像素位置，通过 NMN 建模噪声；在没有显式 EM 标签的情况下联合训练 NMN 和 GPN。
• 两阶段训练：首先用带噪声的补丁训练 GPN，然后用端到端优化联合训练 NMN 和 GPN。
• 利用预训练的 ResNet-18 特征并使用 Adam 进行训练；在保留数据和真实硬件（Real-LCA 和 Real-Sawyer）上进行评估。

实验结果

研究问题

• RQ1 在家庭环境中收集的抓取数据是否相较于实验室数据能提升对未见环境的泛化？
• RQ2 一种潜在噪声建模方法是否能提升对低成本机器人收集的嘈杂数据的学习？
• RQ3 Robust-Grasp 相较 DexNet 基线和 Patch-Grasp 在新物体/新环境中的表现如何？
• RQ4 在家庭数据训练对在实验室托管与家庭部署的影响？

主要发现

• 在 Home-LCA 上训练的 Robust-Grasp 相较 Patch-Grasp 在保留数据上的最高测试准确率为 73.0%，高于 Patch-Grasp 的 69.9%，并优于实验室基础线。
• 在 Real-LCA 硬件评估时，使用 Home-LCA 的训练相比使用 Lab-Baxter 数据训练的模型提升了 43.7%。
• 在 Real-LCA 场景下，Home-LCA 训练的 Robust-Grasp 大约比 DexNet 高出约 33%，凸显在非理想家庭传感中的鲁棒性。
• 在 Real-Sawyer 测试中，忽略数据中的潜在噪声的模型相比之下，噪声建模后性能提升约 10%（77.5% 对 56.25%）。
• 数据集：约 28,000 个抓取，跨六个家庭；在三个未见家庭上的测试显示对真实家庭环境的泛化更好。