[논문 리뷰] Boosting Logical Reasoning in Large Language Models through a New Framework: The Graph of Thought

Bin Lei, pei-Hung Lin외 2명|arXiv (Cornell University)|2023. 08. 16.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 사고의 그래프(GoT)라는 새로운 프롬프팅 프레임워크를 소개한다. 이 프레임워크는 사고 경로를 선형적이거나 트리 구조의 사슬이 아닌, 동적이고 상호 연결된 그래프로 모델링하여 대규모 언어 모델의 논리적 추론 능력을 향상시킨다. 목표에서 시작하는 이중 방향 추론, 사고 간 연결의 검증, 반복적인 그래프 정련을 통해 GoT는 24점 게임에서 97%의 정확도를 달성하였으며, GPT-4보다 89.7%포인트 높고, SOTA ToT보다 23%포인트 높다. 이는 다단계 논리적 추론 과제에서 최고 수준의 성능을 입증한다.

ABSTRACT

Recent advancements in large-scale models, such as GPT-4, have showcased remarkable capabilities in addressing standard queries. However, when facing complex problems that require multi-step logical reasoning, their accuracy dramatically decreases. Current research has explored the realm of extit{prompting engineering} to bolster the inferential capacities of these models. Our paper unveils a pioneering prompting technique, dubbed extit{Graph of Thoughts (GoT)}. Through testing on a trio of escalating challenges: the 24-point game, resolution of high-degree polynomial equations, and derivation of formulas for recursive sequences, our method outperformed GPT-4, achieving accuracy improvements of $89.7\%$, $86\%$, and $56\%$ for each respective task. Moreover, when juxtaposed with the state-of-the-art (SOTA) prompting method, extit{Tree of Thought (ToT)}, our approach registered an average accuracy boost of $23\%$, $24\%$, and $15\%$.

연구 동기 및 목표

• 복잡하고 구조화된 문제에서 다단계 논리적 추론을 수행하는 데 있어 대규모 언어 모델의 지속적인 한계를 해결하기 위해.
• Chain-of-Thought (CoT)와 Tree-of-Thought (ToT)와 같은 기존 프롬프팅 방법의 계층적이고 선형적인 제약을 극복하기 위해.
• 양방향으로 연결된 추론 경로를 허용함으로써 인간의 인지 과정을 더 잘 모방하는 추론 프레임워크를 개발하기 위해.
• 재귀적 추론, 식 변환, 대수적 통찰이 필요한 과제에서 추론 정확도를 향상시키기 위해.

제안 방법

• GoT는 각 노드가 사고 또는 중간 추론 단계를 나타내는 동적이고 비계층적인 그래프로 추론을 모델링한다.
• 프레임워크는 초기 조건이 아닌 목표 결과에서 추론을 시작함으로써 목표 지향적인 탐색을 가능하게 한다.
• 사고 간 연결은 노드 간 전이의 논리적 일관성과 정확성을 검증하는 검증 메커니즘을 통해 이루어진다.
• 그래프 갱신 메커니즘을 통해 새로운 통찰을 바탕으로 유망한 추론 경로를 재평가하고 재추가함으로써 반복적인 정련을 수행한다.
• 유도 정확도 향상을 위해 변수 변환과 공식 간소화와 같은 수학적 도구를 통합한다.
• 다양한 추론 경로를 탐색하고 가장 일관성 있는 경로를 선별하기 위해 복수의 점검 라운드(n)를 포함한 깊이 제한 탐색 전략을 사용한다.

Figure 1: Comparison of various prompting approaches.

실험 결과

연구 질문

• RQ1 비계층적이고 그래프 기반의 추론 구조는 복잡한 논리적 추론 과제에서 선형적이거나 트리 구조의 프롬프팅보다 뛰어나게 성능을 낼 수 있는가?
• RQ2 해결책에서 역방향으로 목표 지향적 추론을 수행할 경우, 단순히 순방향 추론에 비해 LLM의 정확도는 얼마나 향상되는가?
• RQ3 사고 간 연결에 대한 검증 메커니즘이 다단계 추론에서 논리적 오류를 얼마나 줄일 수 있는가?
• RQ4 복수의 점검 라운드를 통해 반복적인 그래프 정련이 추론 결과에 실제로 유의미한 향상을 가져오는가?
• RQ5 그래프 기반 프레임워크 내부에 수학적 도구를 통합할 경우, 대수적 및 재귀적 추론 문제에서 성능 향상에 기여하는가?

주요 결과

• GoT는 24점 게임에서 97%의 정확도를 기록하였으며, GPT-4의 7.3%보다 89.7%포인트 높고, SOTA ToT보다 23%포인트 높았다.
• 고차 다항식 방정식을 푸는 데서 GoT는 GPT-4보다 86%포인트 높은 정확도를 기록하였고, ToT보다 24%포인트 높았다.
• 재귀 수열의 공식 유도 과제에서 GoT는 수학적 도구를 활성화한 상태에서 57%의 정확도를 달성하였으며, ToT보다 15%포인트 높고, GPT-4보다 56%포인트 높았다.
• 점검 라운드 수(n)가 증가할수록 메서드의 성능이 향상되었으며, n=5일 때 55%의 정확도를 기록했고, 수학적 도구를 사용할 경우 57%의 정확도를 달성했다.
• GoT는 세 가지 과제 전반에서 모든 베이스라인을 압도하여 다단계 논리적 추론 과제에서 일관된 우수성을 입증했다.
• 사고 간 연결을 검증하고 그래프 구조를 반복적으로 정련함으로써 논리적 일관성 오류를 크게 줄이고 해결 품질을 향상시켰다.

Figure 2: A toy example for the Graph of thought