[论文解读] Large Language Models as Zero-Shot Human Models for Human-Robot Interaction

Bowen Zhang, Harold Soh|arXiv (Cornell University)|Mar 6, 2023

Multimodal Machine Learning Applications参考文献 33被引用 5

一句话总结

本文提出在人机交互（HRI）中使用大型语言模型（LLMs）作为零样本人类模型，使机器人能够在无需微调或交互数据的情况下预测人类行为。LLMs在基于信任的HRI任务中表现出与专用模型相当的性能，在模拟餐具传递实验中，采用LLM模型的规划器使过度信任减少，并将回报提高55%（平均回报：-1.88 vs. -4.24）。

ABSTRACT

Human models play a crucial role in human-robot interaction (HRI), enabling robots to consider the impact of their actions on people and plan their behavior accordingly. However, crafting good human models is challenging; capturing context-dependent human behavior requires significant prior knowledge and/or large amounts of interaction data, both of which are difficult to obtain. In this work, we explore the potential of large-language models (LLMs) -- which have consumed vast amounts of human-generated text data -- to act as zero-shot human models for HRI. Our experiments on three social datasets yield promising results; the LLMs are able to achieve performance comparable to purpose-built models. That said, we also discuss current limitations, such as sensitivity to prompts and spatial/numerical reasoning mishaps. Based on our findings, we demonstrate how LLM-based human models can be integrated into a social robot's planning process and applied in HRI scenarios. Specifically, we present one case study on a simulated trust-based table-clearing task and replicate past results that relied on custom models. Next, we conduct a new robot utensil-passing experiment (n = 65) where preliminary results show that planning with a LLM-based human model can achieve gains over a basic myopic plan. In summary, our results show that LLMs offer a promising (but incomplete) approach to human modeling for HRI.

研究动机与目标

• 探究大型语言模型（LLMs）是否可作为零样本人类模型应用于人机交互（HRI），从而消除对任务特定数据或手工设定假设的需求。
• 评估LLMs在使用基准数据集建模社交HRI场景中人类高层状态与行为方面的有效性。
• 展示基于LLM的人类模型如何集成到机器人规划流程中，以应对与信任相关的HRI任务。
• 评估LLMs在现实HRI场景中对物理与空间特性的推理能力的局限性。
• 探索结合LLM与低层级物理推理模型的混合建模方法，以提升HRI性能。

提出的方法

• 通过将上下文序列的先前人机交互信息作为提示，利用两种最先进的LLMs——FLAN-T5和GPT-3.5的变体——作为零样本人类模型。
• 在三个社交HRI数据集上评估LLMs的性能，将其预测准确性与专用机器学习模型进行对比。
• 将基于LLM的人类模型集成到符号规划器中，以在模拟的信任型桌面清理任务中生成动作序列。
• 设计了一项新的机器人餐具传递实验，包含65名参与者，机器人使用LLM模型预测人类干预行为并据此调整自身行为。
• 实施两种规划策略：短视的Basic-Plan和故意在非刀具餐具上失败以校准人类信任的LLM-Plan。
• 使用交互式视频调查模拟机器人行为，并在无实际交互的情况下收集人类的信任判断。

实验结果

研究问题

• RQ1 大型语言模型（LLMs）是否能有效作为人机交互中的零样本人类模型，无需微调或交互数据即可预测人类行为？
• RQ2 在诸如信任校准和物品传递等社交HRI任务中，基于LLM的人类模型与专用模型相比表现如何？
• RQ3 基于LLM的人类模型在信任型HRI场景中能多大程度上改善机器人规划？
• RQ4 LLMs在建模人类行为时存在哪些关键局限性，特别是在需要空间或数值推理的任务中？
• RQ5 物理物体特性（例如形状）如何影响人类信任？LLMs能否考虑此类感知因素？

主要发现

• 仅通过零样本提示，LLMs在三个基准HRI数据集上的预测性能与专用机器学习模型相当。
• 在包含65名参与者的餐具传递实验中，Basic-Plan组中63.6%的参与者允许机器人传递刀具，而LLM-Plan组中仅28.1%的参与者允许。
• LLM-Plan机器人实现了显著更高的平均回报（-1.88 vs. -4.24），且具有统计学显著性（p = 0.042）。
• 观察到机器人在剪刀上故意失败的20名参与者中，有90%在刀具上选择干预，表明信任校准有效。
• 参与者对信任的决策受到物理物体特性（如手柄形状）的影响，而基于LLM的模型未能考虑这些因素。
• LLMs对提示语法敏感，且在空间和数值推理方面表现不佳，表明其在建模低层级物理交互方面存在局限。