[论文解读] Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning

Wenlong Huang, Igor Mordatch+2 more|arXiv (Cornell University)|Nov 4, 2021

Reinforcement Learning in Robotics参考文献 41被引用 24

一句话总结

论文证明一个单一的几何感知、多任务策略可以在超过100个多样的真实世界对象上进行手内操作，并能推广到未见几何形状，通常超过单对象专家。它引入基于点云的对象表示和多任务学习以实现零-shot泛化。

ABSTRACT

Dexterous manipulation of arbitrary objects, a fundamental daily task for humans, has been a grand challenge for autonomous robotic systems. Although data-driven approaches using reinforcement learning can develop specialist policies that discover behaviors to control a single object, they often exhibit poor generalization to unseen ones. In this work, we show that policies learned by existing reinforcement learning algorithms can in fact be generalist when combined with multi-task learning and a well-chosen object representation. We show that a single generalist policy can perform in-hand manipulation of over 100 geometrically-diverse real-world objects and generalize to new objects with unseen shape or size. Interestingly, we find that multi-task learning with object point cloud representations not only generalizes better but even outperforms the single-object specialist policies on both training as well as held-out test objects. Video results at https://huangwl18.github.io/geometry-dex

研究动机与目标

• 促进在许多对象上具有泛化能力的灵巧手内握操作。
• 展示多任务学习在训练对象上可以达到或超过单任务专家。
• 引入几何感知对象表示以提升对未见对象的泛化。
• 证明通过表示增强的多任务学习可以随着更多训练对象的增加而扩展。

提出的方法

• 通过在对象之间对任务梯度求和，将DDPG与Hindsight Experience Replay 融入多任务设置，实现多任务。
• 引入一个基于两个点云输入（当前和目标方向）的几何感知对象表示编码器，用以预测对象类别和相对旋转。
• 在对象点云上预训练编码器，并在强化学习训练期间冻结它，此时演员和评论者的条件也结合了编码表示。
• 训练一个跨越多对象的单一策略（Vanilla Multi-Task Policy），并与逐对象的oracle策略进行比较。
• 在一组几何多样的保留对象上评估零-shot 泛化（总计114个对象；85个训练，29个测试）。
• 提供一个基于模拟的 OpenAI Gym 基准测试（Shadow Hand），并发布数据集以便未来工作。

实验结果

研究问题

• RQ1 一个普通的多任务策略是否能够在大量对象上达到与逐对象专家相竞争的性能？
• RQ2 引入几何感知对象表示是否能够改善对未见对象的零-shot泛化？
• RQ3 训练对象数量如何影响对保留对象的泛化？
• RQ4 在策略训练中冻结预训练对象编码器是否优于微调它？

主要发现

• 在85个对象上训练的单一多任务策略，其平均性能与逐对象oracle策略相匹配，且样本效率高出17倍（200M 与 3400M 样本）。
• 在具有几何感知对象表示的情况下，多任务策略在保留对象的零-shot评估中可以超过逐对象oracle。
• 在单任务策略中使用对象表示仍然有益，提升保留对象和训练对象的性能。
• 增加训练对象数量可提升零-shot泛化，基于表示的方法显示出更强的扩展性。
• 冻结编码器在策略训练中比微调更能带来更好性能，并且在许多对象上进行预训练可提升单任务在保留对象上的性能。