[论文解读] CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents

Jeongeun Park, Seungwon Lim+5 more|arXiv (Cornell University)|Jun 17, 2023

Topic Modeling被引用 5

一句话总结

本文提出 CLARA 框架，利用具备情境感知能力的大语言模型（LLMs）对用户指令进行清晰、模糊或不可行的分类，并通过 LLM 生成的问题对模糊指令进行消歧。该方法在新构建的基准数据集和真实机器人交互场景中，实现了卓越的不确定性分类性能（AUROC 为 0.89）和消歧成功率（0.75）。

ABSTRACT

In this paper, we focus on inferring whether the given user command is clear, ambiguous, or infeasible in the context of interactive robotic agents utilizing large language models (LLMs). To tackle this problem, we first present an uncertainty estimation method for LLMs to classify whether the command is certain (i.e., clear) or not (i.e., ambiguous or infeasible). Once the command is classified as uncertain, we further distinguish it between ambiguous or infeasible commands leveraging LLMs with situational aware context in a zero-shot manner. For ambiguous commands, we disambiguate the command by interacting with users via question generation with LLMs. We believe that proper recognition of the given commands could lead to a decrease in malfunction and undesired actions of the robot, enhancing the reliability of interactive robot agents. We present a dataset for robotic situational awareness, consisting pair of high-level commands, scene descriptions, and labels of command type (i.e., clear, ambiguous, or infeasible). We validate the proposed method on the collected dataset, pick-and-place tabletop simulation. Finally, we demonstrate the proposed approach in real-world human-robot interaction experiments, i.e., handover scenarios.

研究动机与目标

• 通过将用户指令分类为清晰、模糊或不可行类型，提升交互式机器人代理的可靠性。
• 解决在真实机器人环境中理解模糊或不可行指令的挑战。
• 开发一种零样本、基于 LLM 的方法，利用情境上下文实现不确定性分类。
• 通过自由形式问题生成实现动态消歧，针对模糊指令进行用户澄清。
• 构建一个新的基准数据集，用于评估机器人指令理解中的情境感知能力。

提出的方法

• 该方法通过估计 LLM 输出的预测不确定性，以区分清晰指令与不确定指令（模糊或不可行）。
• 利用零样本 LLM 推理并结合情境上下文，将不确定指令分类为模糊或不可行。
• 对于模糊指令，系统通过 LLM 生成自由形式问题，以获取用户澄清，实现迭代式消歧。
• 该框架将不确定性估计与情境感知整合到统一的处理流程中，实现可靠的指令理解。
• 该方法利用 GPT-3.5-turbo 和 InstructGPT 模型完成分类与问题生成，依赖 API 接口推理，无需微调。
• 构建了一个名为 SaGC 的新数据集，包含高层指令、场景描述以及不确定性类型标注，用于评估。

Figure 1: Task Explanation of the proposed method. We aim to classify the user’s command with awareness of the given environment and robot’s configuration. In particular, with the same command like He looks tired , we aim the classify the command into different types of uncertainty based on differen

实验结果

研究问题

• RQ1 LLM 是否能有效估计用户指令中的不确定性，以区分清晰指令与模糊或不可行指令？
• RQ2 当基于情境上下文时，零样本 LLM 在将不确定指令分类为模糊或不可行方面表现如何？
• RQ3 基于 LLM 的问题生成在人机交互中的消歧成功率提升程度如何？
• RQ4 与基线方法相比，该方法在指令不确定性分类及真实交互场景处理方面表现如何？
• RQ5 该框架是否能泛化到原始、模糊的输入，并在真实机器人系统中支持迭代式消歧？

主要发现

• 所提方法在区分清晰指令与不确定指令方面取得了 0.89 的 AUROC，比基线高出 0.018。
• 在不确定性类型分类方面，该方法在 GPT-3.5-turbo 和 InstructGPT 上的准确率均比基线高出 0.17。
• 与基线相比，消歧过程使成功率平均提升了 0.05，最优交互时机下差距达 0.23。
• 系统成功处理了如 "he looks sleepy" 等原始且模糊的输入，并在用户信息不完整时实现迭代消歧。
• 真实世界演示验证了该方法的有效性：GPT-3.5-turbo 因生成更多问题而表现更优，而 InstructGPT 在用户偏好较少问题时提供了更佳平衡。
• 局限性包括可行性预测中的幻觉现象，以及对包含多个缺失细节的指令无法生成多方面问题。

Figure 2: Proposed Method. Our method involves estimating uncertainty with LLMs via context sampling to distinguish between certain and uncertain commands. We then leverage situational awareness to classify uncertain commands into ambiguous and infeasible categories, followed by a disambiguation pro