[论文解读] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

Maciej Besta, Nils Blach+9 more|arXiv (Cornell University)|Aug 18, 2023

Topic Modeling参考文献 73被引用 35

一句话总结

GoT 模型将 LLM 推理建模为任意思维图的图，使聚合和反馈能够超越 Tree of Thoughts，同时降低成本。它支持新的提示转换，并在排序等任务上展示出强劲结果。

ABSTRACT

We introduce Graph of Thoughts (GoT): a framework that advances prompting capabilities in large language models (LLMs) beyond those offered by paradigms such as Chain-of-Thought or Tree of Thoughts (ToT). The key idea and primary advantage of GoT is the ability to model the information generated by an LLM as an arbitrary graph, where units of information ("LLM thoughts") are vertices, and edges correspond to dependencies between these vertices. This approach enables combining arbitrary LLM thoughts into synergistic outcomes, distilling the essence of whole networks of thoughts, or enhancing thoughts using feedback loops. We illustrate that GoT offers advantages over state of the art on different tasks, for example increasing the quality of sorting by 62% over ToT, while simultaneously reducing costs by >31%. We ensure that GoT is extensible with new thought transformations and thus can be used to spearhead new prompting schemes. This work brings the LLM reasoning closer to human thinking or brain mechanisms such as recurrence, both of which form complex networks.

研究动机与目标

• 通过在 LLMs 中实现基于图的推理，激发对比于 CoT 与 ToT 更强大提示的需求。
• 提出 Graph of Thoughts (GoT) 作为一个模块化框架，用于将 LLM 的思维表示为图并进行转换。
• 展示基于图的变换如何提升任务性能并启用新的提示方案。
• 在排序、集合运算、关键词计数和文档合并等任务上，将 GoT 与最先进的提示方案进行比较评估。

提出的方法

• 将 LLM 推理建模为有向图 G=(V,E)，其中思维是顶点，依赖关系是边。
• 引入基于图的变换，如聚合、细化和生成，以修改 G 并产生新的思维。
• 定义评分 E(v,G,p_theta) 和排序 R(G,p_theta,h) 以评估并选择顶端的思维。
• 提供一个包含 Prompter、Parser、Scoring 与 Controller 的模块化系统架构，以及用于执行计划和状态跟踪的 GoO（Graph of Operations）和 GRS（Graph Reasoning State）。
• 用异构图表示和显式移除思维来扩展 GoT，以管理上下文大小。

实验结果

研究问题

• RQ1 提示方案如何从线性链或树转变为任意的思维图来改进问题求解？
• RQ2 哪些图变换和架构能够在尽量降低 LLM 推理成本的同时最大化解题质量？
• RQ3 在排序、集合运算、关键词计数和文档合并等任务中，GoT 与 CoT、CoT-SC、ToT 的比较如何？
• RQ4 图结构对 LLM 推理中的延迟和信息量有何影响？
• RQ5 在不更新模型的情况下，GoT 能否通过新的提示方案和不同的 LLM 进行扩展？

主要发现

• GoT 在排序质量上相对于 Tree of Thoughts 提升约 62%，同时成本下降超过 31%。
• 与基线相比，GoT 在排序、集合交集、关键词计数和文档合并等任务上表现出更高质量的结果。
• GoT 实现了有利的延迟-信息量权衡，延迟为 log_k N，信息量高为 N；不同于 CoT（高信息量、高延迟）、CoT-SC（降低延迟和信息量）或 ToT（低延迟、低信息量）。
• 该框架使聚合等基于图的变换成为可能，能够独立解决子任务并将结果合并以形成最终解。
• GoT 可以通过新的思维变换和提示进行扩展，能够在 GPT-3.5、GPT-4 和 Llama-2 等模型之间实现快速原型设计。