[논문 리뷰] Graph of Thoughts: Solving Elaborate Problems with Large Language Models

Maciej Besta, Nils Blach외 9명|arXiv (Cornell University)|2023. 08. 18.

Topic Modeling참고 문헌 73인용 수 35

한 줄 요약

GoT 모델은 LLM 추론을 임의의 생각 그래프로 처리하여 집계와 피드백을 가능하게 하며 Tree of Thoughts를 능가하는 성능을 제공하고 비용을 절감합니다. 새로운 프롬팅 변환을 지원하고 정렬과 같은 작업에서 강력한 결과를 시연합니다.

ABSTRACT

We introduce Graph of Thoughts (GoT): a framework that advances prompting capabilities in large language models (LLMs) beyond those offered by paradigms such as Chain-of-Thought or Tree of Thoughts (ToT). The key idea and primary advantage of GoT is the ability to model the information generated by an LLM as an arbitrary graph, where units of information ("LLM thoughts") are vertices, and edges correspond to dependencies between these vertices. This approach enables combining arbitrary LLM thoughts into synergistic outcomes, distilling the essence of whole networks of thoughts, or enhancing thoughts using feedback loops. We illustrate that GoT offers advantages over state of the art on different tasks, for example increasing the quality of sorting by 62% over ToT, while simultaneously reducing costs by >31%. We ensure that GoT is extensible with new thought transformations and thus can be used to spearhead new prompting schemes. This work brings the LLM reasoning closer to human thinking or brain mechanisms such as recurrence, both of which form complex networks.

연구 동기 및 목표

• CoT 및 ToT를 넘어서는 더 강력한 프롬프팅의 필요성을 제시하여 LLM에서 그래프 기반 추론을 가능하게 한다.
• Graph of Thoughts (GoT)를 LLM의 사고를 그래프로 표현하고 변환하는 모듈식 프레임워크로 제안한다.
• 그래프 기반 변환이 작업 성능을 향상시키고 새로운 프롬프팅 스킴을 가능하게 하는 방법을 시연한다.
• 정렬, 집합 연산, 키워드 카운트, 문서 병합과 같은 작업에서 최첨단 프롬프팅 스킴과 비교하여 GoT를 평가한다.

제안 방법

• 모델링: 생각은 정점이고 의존성은 간선인 방향 그래프 G=(V,E)로 LLM 추론을 표현한다.
• 집계, 정제, 생성과 같은 그래프 기반 변환을 도입하여 G를 수정하고 새로운 생각을 생성한다.
• 점수화 함수 E(v,G,p_theta)와 순위화 R(G,p_theta,h)를 정의하여 상위 생각들을 평가하고 선택한다.
• Prompter, Parser, Scoring, Controller로 구성된 모듈식 시스템 아키텍처를 제공하고 실행 계획과 상태 추적을 위한 GoO(그래프 오브 오퍼레이션), GRS(그래프 추론 상태)를 포함한다.
• 맥락 크기를 관리하기 위해 이질적 그래프 표현과 명시적 제거를 통한 GoT 확장.

실험 결과

연구 질문

• RQ1 프롬프팅 스킴이 선형 체인 또는 트리에서 임의의 생각 그래프로 전환되어 문제 해결을 개선하려면 어떻게 해야 하는가?
• RQ2 그래프 변환 및 아키텍처 중 어떤 것이 LLM 추론 비용을 최소화하면서 해답 품질을 극대화하는가?
• RQ3 GoT가 정렬, 집합 연산, 키워드 카운트, 문서 병합과 같은 작업에서 CoT, CoT-SC, ToT와 비교해 어떤 차이가 있는가?
• RQ4 그래프 구조가 LLM 추론의 지연 시간과 정보량에 어떤 영향을 미치는가?
• RQ5 새로운 프롬프팅 스킴과 다른 LLM으로 모델 업데이트 없이 GoT를 확장할 수 있는가?

주요 결과

• GoT는 Tree of Thoughts 대비 약 62%의 정렬 품질 향상을 보여주면서 비용을 31% 이상 절감합니다.
• GoT는 정렬, 교집합, 키워드 카운트, 문서 병합 등 다양한 작업에서 기준선 대비 더 높은 품질의 결과를 보여줍니다.
• GoT는 지연 시간 로그_k N과 높은 정보량 N의 유리한 지연-정보량 트레이드를 달성하며, CoT(높은 정보량, 높은 지연), CoT-SC(지연 및 정보량 감소), ToT(낮은 지연·낮은 정보량)와는 다릅니다.
• 프레임워크는 집계 및 기타 그래프 기반 변환을 가능하게 하여 부분 작업을 독립적으로 해결하고 최종 해답으로 병합하는 것을 가능하게 합니다.
• GoT는 새로운 생각 변환 및 프롬프트로 확장 가능하여 GPT-3.5, GPT-4, Llama-2 등 다양한 모델에서 빠른 프로토타이핑이 가능합니다.