[论文解读] "Get ready for a party": Exploring smarter smart spaces with help from large language models

Evan King, Haoxiang Yu+2 more|arXiv (Cornell University)|Mar 24, 2023

Context-Aware Activity Recognition Systems被引用 7

一句话总结

本文提出使用大型语言模型（LLMs）如GPT-3作为智能家居的中央控制器，以从模糊指令（如“为派对做准备”）中推断意图，并在无需微调的情况下生成设备控制动作。该研究展示了概念验证系统，其中GPT-3能够理解自然语言，将其映射为具体的设备状态变更（例如打开灯光和立体声音响），并通过API控制真实设备，展示了在上下文感知智能家居交互中的零样本能力。

ABSTRACT

The right response to someone who says "get ready for a party" is deeply influenced by meaning and context. For a smart home assistant (e.g., Google Home), the ideal response might be to survey the available devices in the home and change their state to create a festive atmosphere. Current practical systems cannot service such requests since they require the ability to (1) infer meaning behind an abstract statement and (2) map that inference to a concrete course of action appropriate for the context (e.g., changing the settings of specific devices). In this paper, we leverage the observation that recent task-agnostic large language models (LLMs) like GPT-3 embody a vast amount of cross-domain, sometimes unpredictable contextual knowledge that existing rule-based home assistant systems lack, which can make them powerful tools for inferring user intent and generating appropriate context-dependent responses during smart home interactions. We first explore the feasibility of a system that places an LLM at the center of command inference and action planning, showing that LLMs have the capacity to infer intent behind vague, context-dependent commands like "get ready for a party" and respond with concrete, machine-parseable instructions that can be used to control smart devices. We furthermore demonstrate a proof-of-concept implementation that puts an LLM in control of real devices, showing its ability to infer intent and change device state appropriately with no fine-tuning or task-specific training. Our work hints at the promise of LLM-driven systems for context-awareness in smart environments, motivating future research in this area.

研究动机与目标

• 探究大型语言模型是否能够推断出如“为派对做准备”或“我累了”等模糊、依赖上下文的智能家居指令背后的意图。
• 评估大型语言模型是否能够在无需特定任务训练或微调的情况下，生成可被机器解析的、可执行的设备控制指令。
• 构建并验证一个概念验证系统，利用GPT-3通过直接API调用控制真实智能家居设备，基于自然语言输入。
• 识别大型语言模型在可靠性方面的问题，如响应不一致或无效，提出针对稳健部署的设计改进方案。

提出的方法

• 系统采用提示工程方法，将大型语言模型与包含设备信息（例如设备类型、ID、支持状态）的结构化上下文提示一起使用，以及用户的自然语言指令。
• 提示模型生成格式为JSON的动作计划，明确指定需要修改哪些设备及其状态变更方式（例如，将灯光设为“colorloop”或将立体声音响设为“on”）。
• 生成的JSON输出直接发送至设备API（如飞利浦Hue和Sonos）以实时执行预期动作。
• 未应用任何微调或后处理；模型仅通过提示和设备上下文在零样本模式下运行。
• 通过多个指令评估响应的一致性、正确性和语义恰当性。
• 实现采用GPT-3（可能为davinci-003或类似版本），并与真实设备API集成，以验证端到端功能。

实验结果

研究问题

• RQ1 零样本大型语言模型是否能够在无需特定任务训练的情况下，推断出如“为派对做准备”等抽象或模糊的智能家居指令的真正含义？
• RQ2 大型语言模型是否能够生成有效、机器可读的设备控制指令（例如JSON），可直接在真实智能设备上执行？
• RQ3 大型语言模型在多样化的指令和设备配置下，其响应在一致性和语义恰当性方面表现如何？
• RQ4 大型语言模型在智能家居控制方面存在哪些局限性，特别是针对错误或无效的设备状态变更？
• RQ5 如何设计系统级模式，以应对大型语言模型倾向于生成看似合理但错误的响应的问题？

主要发现

• 大型语言模型成功理解了如“为派对做准备”等指令，并生成了有效的控制动作，包括打开立体声音响并将Hue灯光设为“colorloop”效果。
• 对于“我走了”这一指令，模型正确生成了关闭所有可用设备的响应，显示出对用户意图的理解。
• 模型对“让这里亮起来”（将灯光调至最亮）和“我冷”（将灯光调为暖白色）等指令生成了语义恰当的响应。
• 响应质量存在差异，部分响应包含无效字段（例如，向不支持该功能的立体声音响添加“genre”字段），表明输出可靠性存在不一致性。
• 系统仅通过大型语言模型的输出，成功通过直接API调用控制了真实设备，证明了无需微调或后处理的可行性。
• 研究表明，尽管大型语言模型在新指令上具有良好的泛化能力，但缺乏对自身不确定性的认知，因此在生产系统中需要建立稳健的验证机制。