[论文解读] Introspective Tips: Large Language Model for In-Context Decision Making

Liting Chen, Lu Wang+10 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种基于提示的框架——'自省提示（Introspective Tips）'，使大型语言模型（LLMs）能够通过从自身经验轨迹、专家示范以及多样化环境中的信息中提取高层次、可泛化的洞察，实现决策制定的自我优化。在无需微调的情况下，该方法通过动态调整提示以注入提炼出的、可操作的提示，实现了在少样本和零样本设置下文本游戏中的最先进性能。

ABSTRACT

The emergence of large language models (LLMs) has substantially influenced natural language processing, demonstrating exceptional results across various tasks. In this study, we employ ``Introspective Tips" to facilitate LLMs in self-optimizing their decision-making. By introspectively examining trajectories, LLM refines its policy by generating succinct and valuable tips. Our method enhances the agent's performance in both few-shot and zero-shot learning situations by considering three essential scenarios: learning from the agent's past experiences, integrating expert demonstrations, and generalizing across diverse games. Importantly, we accomplish these improvements without fine-tuning the LLM parameters; rather, we adjust the prompt to generalize insights from the three aforementioned situations. Our framework not only supports but also emphasizes the advantage of employing LLM in in-contxt decision-making. Experiments involving over 100 games in TextWorld illustrate the superior performance of our approach.

研究动机与目标

• 解决现有基于 LLM 的决策智能体依赖任务特定反思或需要微调的局限性。
• 通过从过往经验与专家轨迹中提取的紧凑、高层次指导，使 LLM 智能体能够在多样化任务与环境中实现泛化。
• 开发一种基于提示的框架，增强上下文中的决策能力，无需参数更新，同时利用 LLM 内置的常识与推理能力。
• 通过从有限示范与智能体轨迹中提取并应用泛化提示，提升低数据场景下的性能。

提出的方法

• 该框架生成'自省提示'——从智能体轨迹、专家示范以及跨环境对比中提取的简洁、高层次指导。
• 从成功与失败的轨迹中提炼提示，以捕捉可泛化的原则，例如'使用烤箱烘烤食材'，而非详细的动作日志。
• 通过在推理过程中将这些提示注入 LLM 的上下文，实现提示的动态调整，从而在不微调的情况下实现上下文适应。
• 该方法通过聚焦于通用、可操作的建议，而非对单个失败的详细自我分析，将提示与反思区分开来。
• 该方法利用 LLM 预训练的常识与推理能力，从稀疏或复杂的轨迹中推断出有用的策略。
• 该框架通过在不同游戏与难度级别间复用提示，支持少样本与零样本泛化。

实验结果

研究问题

• RQ1 LLM 智能体能否通过学习提炼出的高层次洞察而非原始轨迹日志或任务特定反思，来改善上下文中的决策制定？
• RQ2 基于提示的方法在多种文本游戏的零样本与少样本设置下，使用自省提示的有效性如何？
• RQ3 从专家或智能体轨迹中提取的可泛化提示是否能优于任务特定反思，在跨环境泛化中表现更优？
• RQ4 LLM 在多大程度上能够通过利用自省知识提取实现决策制定的自我优化，而无需参数微调？
• RQ5 在低难度游戏设置中，人工生成提示与模型生成提示对性能的影响有何差异？

主要发现

• 使用通用自省提示的 LLM 智能体在难度等级 0–3 的游戏中，性能与最先进深度学习智能体（如 TDQN、GATA、ITL）相当，尽管仅使用了 10 款游戏和 48 条轨迹。
• 在难度等级 3 和 4 的游戏中，使用自省提示的 LLM 表现优于最先进方法，尤其得益于其对任务结构的推理能力以及避免与导航相关的陷阱。
• 在零样本设置下，使用通用提示的 LLM 在难度等级 4 的游戏中实现了 95% 的成功率，表明其能从有限示范中实现强大泛化。
• 当提供人工生成的提示时，LLM 在难度等级 4 的成功率提升至 96%，表明提示质量对性能有显著影响。
• LLM 的概率特性偶尔导致非确定性行为，使其忽略提示并出错，但其性能仍优于为特定任务专门训练的最先进智能体。
• 该方法优于基于反思的方案，因为提示在跨环境泛化方面表现更优——例如在游戏 2 中，关于使用烤箱的提示成功了，而因无关性导致失败的游戏特定反思则无效。