[論文レビュー] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

Maciej Besta, Nils Blach+9 more|arXiv (Cornell University)|Aug 18, 2023

Topic Modeling参考文献 73被引用数 35

ひとこと要約

GoTモデルはLLMの推論を思考の任意グラフとして扱い、集約とフィードバックを可能にすることでTree of Thoughtsを上回りつつコストを削減します。新しい prompting 変換をサポートし、並べ替えのようなタスクで強力な結果を示します。

ABSTRACT

We introduce Graph of Thoughts (GoT): a framework that advances prompting capabilities in large language models (LLMs) beyond those offered by paradigms such as Chain-of-Thought or Tree of Thoughts (ToT). The key idea and primary advantage of GoT is the ability to model the information generated by an LLM as an arbitrary graph, where units of information ("LLM thoughts") are vertices, and edges correspond to dependencies between these vertices. This approach enables combining arbitrary LLM thoughts into synergistic outcomes, distilling the essence of whole networks of thoughts, or enhancing thoughts using feedback loops. We illustrate that GoT offers advantages over state of the art on different tasks, for example increasing the quality of sorting by 62% over ToT, while simultaneously reducing costs by >31%. We ensure that GoT is extensible with new thought transformations and thus can be used to spearhead new prompting schemes. This work brings the LLM reasoning closer to human thinking or brain mechanisms such as recurrence, both of which form complex networks.

研究の動機と目的

• CoTとToTを超えるより強力な prompting の必要性を、LLMにおけるグラフベースの推論を可能にすることで動機づける。
• GoT をモジュラーなフレームワークとして提案：LLMの思考をグラフとして表現・変換する。
• グラフ対応の変換がタスク性能を改善し、新しい prompting 手法を可能にすることを示す。
• GoT を最先端の prompting 手法と比較評価：並べ替え、集合演算、キーワードカウント、文書結合などのタスクで。

提案手法

• LLM の推論を有向グラフ G=(V,E) としてモデル化：思考は頂点、依存関係はエッジ。
• 集約、精緻化、生成などのグラフ対応の変換を導入し、G を修正して新しい思考を生成。
• スコアリング E(v,G,p_theta) とランキング R(G,p_theta,h) を定義し、トップ思考を評価・選択。
• Prompter、Parser、Scoring、Controller のモジュラーなシステムアーキテクチャを提供し、GoO（Graph of Operations）と GRS（Graph Reasoning State）を実行計画と状態追跡に活用。
• GoT を異種グラフ表現と明示的な思考の削除で拡張し、文脈サイズを管理。

実験結果

リサーチクエスチョン

• RQ1 思考の線形チェーンやツリーから任意のグラフへ prompting schemes を移行させ、問題解決を改善できるか？
• RQ2 どのグラフ変換とアーキテクチャが、解の質を最大化しつつLLM推論コストを最小化するか？
• RQ3 GoT は並べ替え、集合演算、キーワードカウント、文書結合といったタスクで CoT、CoT-SC、ToT とどのように比較されるか？
• RQ4 グラフ構造が LLM 推論のレイテンシと情報量に与える影響は？
• RQ5 GoT は新しい prompting scheme や異なる LLM にモデル更新なしで拡張できるか？

主な発見

• GoT は Tree of Thoughts に比して並べ替えの質を約62%向上させつつ、コストを31%以上削減。
• GoT は並べ替え、集合の交差、キーワードカウント、文書結合などのタスクでベースラインより高品質な結果を示す。
• GoT は CoT（高い情報量・高遅延）、CoT-SC（遅延と情報量を削減）、ToT（低遅延・低情報量）とは異なり、遅延と情報量の良好なトレードオフを達成：遅延は log_k N、情報量は高い N。
• このフレームワークは、思考の集約や他のグラフ対応変換を可能にし、サブタスクを独立して解き、最終解に向けて結果を結合できる。
• GoT は新しい思考変換やプロンプトで拡張可能で、GPT-3.5、GPT-4、Llama-2 などのモデル間で迅速なプロトタイピングを可能にする。