[论文解读] Improving Language Model Prompting in Support of Semi-autonomous Task Learning

James R. Kirk, Robert E. Wray+2 more|arXiv (Cornell University)|Sep 13, 2022

Topic Modeling被引用 6

一句话总结

本文提出了一种基于模板的迭代提示策略，使具身智能体能够生成具有高可解释性和情境相关性的大语言模型（LLM）响应，以支持半自主任务学习。通过利用top-k标记概率迭代优化提示，并将响应锚定于可观察对象，该方法显著提升了行动可行性和解析准确性，表明智能体能够在实时环境中有效从LLM中提取并应用特定任务的知识。

ABSTRACT

Language models (LLMs) offer potential as a source of knowledge for agents that need to acquire new task competencies within a performance environment. We describe efforts toward a novel agent capability that can construct cues (or "prompts") that result in useful LLM responses for an agent learning a new task. Importantly, responses must not only be "reasonable" (a measure used commonly in research on knowledge extraction from LLMs) but also specific to the agent's task context and in a form that the agent can interpret given its native language capacities. We summarize a series of empirical investigations of prompting strategies and evaluate responses against the goals of targeted and actionable responses for task learning. Our results demonstrate that actionable task knowledge can be obtained from LLMs in support of online agent task learning.

研究动机与目标

• 解决在具身智能体系统中从大语言模型（LLMs）获取特定任务、可解释知识的挑战。
• 确保LLM的响应不仅合理，而且对语言理解能力有限的智能体而言是可操作且可解析的。
• 开发一种能够根据智能体当前环境和已知词汇动态适应的提示策略。
• 评估提示结构与迭代优化对真实世界任务学习场景中响应可解释性、相关性与行动可行性的影响力。

提出的方法

• 采用基于模板的提示框架，从LLM生成结构化、分步执行的任务指令，步骤编号后接动作动词。
• 引入迭代提示策略：每完成一步后，分析模型输出的top-k下一个标记概率，并由智能体仅选择已知的、高概率的词汇来优化提示。
• 智能体使用GPT-3 API，设置temperature=0并启用top_logprobs，以检索并过滤可能的下一个标记，确保仅选择可解释且与环境相关的动作。
• 该过程持续进行，直到模型输出‘(END TASK)’，从而形成完整、智能体可消费的任务计划。
• 通过偏向可观察对象和智能体理解的词汇，将情境锚定融入提示中。
• 同时探索了一种互补的目标表示提示策略，使用‘(RESULT)’和‘(END RESULT)’分隔符，以激发高层级任务目标，用于规划。

实验结果

研究问题

• RQ1 如何结构化LLM提示，以生成既对具身智能体可解释又可操作的响应，即使其语言理解能力有限？
• RQ2 迭代的、由智能体驱动的提示优化对LLM生成任务指令的可解释性与相关性有何影响？
• RQ3 结合可观察环境特征与智能体特定词汇的提示策略，能否提升LLM响应的情境相关性？
• RQ4 通过‘(RESULT)’分隔符引入目标表示，如何影响LLM生成任务计划的整体连贯性与实用性？
• RQ5 基于模板的提示策略在无需手动重新配置的情况下，能在多大程度上泛化到多样化任务领域？

主要发现

• 与批量提示相比，迭代提示策略显著提升了响应的可解释性，且未降低其他性能指标。
• 通过迭代优化生成的响应更可能使用已知的动作动词，且更易于智能体解析和在环境中锚定。
• 使用top_logprobs使智能体能够过滤并仅选择高概率、已知的词汇，从而提高了生成有效、可操作步骤的可能性。
• 使用如‘(RESULT)’等目标分隔符进行提示，可生成相关、可解释的高层级目标（例如：‘目标是塑料瓶位于回收箱中’），支持基于规划的任务执行。
• 基于模板的方法在多个任务领域中均表现有效且具有通用性，表明其在半自主智能体学习中具有广泛适用性。
• 初步结果表明，将LLM生成的目标与动作步骤结合，可增强任务规划的鲁棒性，并减少对LLM输出完美的依赖。