[论文解读] Leveraging Language for Accelerated Learning of Tool Manipulation

Allen Z. Ren, Bharat Govil+3 more|arXiv (Cornell University)|Jun 27, 2022

Software Engineering Research被引用 6

一句话总结

本文提出ATLA，一种元学习框架，通过利用大语言模型（LLMs）对工具几何形状和常见用途的自然语言描述，加速机器人策略在新工具上的适应。通过在元训练中使用LLM生成的工具描述嵌入进行条件控制，该方法在推挤、抓取、清扫和敲打等任务中实现了更快、更有效的零样本适应，显著优于无语言监督的基线方法。

ABSTRACT

Robust and generalized tool manipulation requires an understanding of the properties and affordances of different tools. We investigate whether linguistic information about a tool (e.g., its geometry, common uses) can help control policies adapt faster to new tools for a given task. We obtain diverse descriptions of various tools in natural language and use pre-trained language models to generate their feature representations. We then perform language-conditioned meta-learning to learn policies that can efficiently adapt to new tools given their corresponding text descriptions. Our results demonstrate that combining linguistic information and meta-learning significantly accelerates tool learning in several manipulation tasks including pushing, lifting, sweeping, and hammering.

研究动机与目标

• 通过利用关于工具功能的语义信息，加速机器人在操纵任务中对新工具的策略适应。
• 探究自然语言描述工具几何形状和常见用途是否能改善工具操纵中的零样本泛化能力。
• 开发一种元学习框架，通过LLM嵌入的工具描述条件化策略适应，实现更快的微调。
• 评估语言信息在使策略利用工具特定功能（如手柄、挂钩和形状）方面的作用。
• 证明语言条件元学习能提升多样化的工具操纵任务中的样本效率和性能。

提出的方法

• 使用预训练的LLM为各种工具生成多样化、描述性的自然语言嵌入，包括几何特征和常见用途。
• 使用基于预训练BERT的模型从这些描述中提取密集向量表示，形成特定于工具的上下文嵌入。
• 应用基于梯度的元学习算法（Reptile）训练一个基础策略，通过其语言嵌入条件化的微调实现对新工具的快速适应。
• 通过在元训练期间采样工具及其语言条件化表示，执行离策略元更新，以提升泛化能力。
• 在推理过程中，将策略适应过程同时基于新工具的语言嵌入和少量环境交互进行条件化。
• 在不进行任务特定语言定位的情况下引入语言监督，实现对具有不同动力学特性的任务的泛化。

实验结果

研究问题

• RQ1 工具几何形状和常见用途的语义描述能否加速机器人操纵中对未见工具的零样本策略适应？
• RQ2 与无语言监督的标准元学习相比，语言条件元学习在样本效率和最终性能方面表现如何？
• RQ3 语言表征的质量（例如，来自更大规模LLM）在多大程度上影响策略适应速度和成功率？
• RQ4 语言信息能否帮助策略正确利用工具功能，如手柄、挂钩或曲面边缘？
• RQ5 语言条件适应的失败模式是什么，它们与工具特定功能敏感性的关系如何？

主要发现

• 与无语言监督的基线方法相比，语言条件元学习（ATLA）在推挤、抓取、清扫和敲打任务中显著加速了对未见工具的策略适应。
• 使用更大的预训练语言模型（如BERT-base）进行描述编码，相比较小模型（如BERT-tiny）能获得更高的微调后奖励，表明更丰富的表征能提升性能。
• 基于完整语言描述（如包含“弯曲钩”或“可抓握手柄”）的策略能成功利用工具功能，如使用撬棍的钩子或抓握抹刀的手柄，而简化描述则导致失败。
• 从工具描述中移除关键术语（如“手柄”）会导致策略无法正确抓握工具，证明语言有助于实现正确的功能利用。
• 尽管有所改进，ATLA仍无法正确使用某些功能，如油漆滚筒的滚轮开口或水龙头扳手的平头在敲打任务中，凸显对初始姿态和探索挑战的敏感性。
• 引入元学习超参数β_meta可提升训练效率和最终性能，表明跨工具的经验共享能增强学习效果。