[논문 리뷰] LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models

Shibo Hao, Yi Gu외 10명|arXiv (Cornell University)|2024. 04. 08.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 GPT-4를 활용해 최종 답변을 초월해 논리적 정확성을 평가하는 자동화된, 작업 적응형 평가 프레임워크인 AutoRace를 소개한다. 또한, 검색-보상-세계 모델 형식으로 정규화된 통합 라이브러리인 LLM Reasoners를 제안하여 다양한 추론 알고리즘을 체계적으로 비교할 수 있도록 한다. 주요 결과로는 AutoRace가 답변 전용 평가에서 놓친 잘못된 추론 체인의 70.4%를 탐지했으며, 세계 모델을 사용한 RAP는 Blocksworld에서 ToT보다 42% 높은 성능을 보였다.

ABSTRACT

Generating accurate step-by-step reasoning is essential for Large Language Models (LLMs) to address complex problems and enhance robustness and interpretability. Despite the flux of research on developing advanced reasoning approaches, systematically analyzing the diverse LLMs and reasoning strategies in generating reasoning chains remains a significant challenge. The difficulties stem from the lack of two key elements: (1) an automatic method for evaluating the generated reasoning chains on different tasks, and (2) a unified formalism and implementation of the diverse reasoning approaches for systematic comparison. This paper aims to close the gap: (1) We introduce AutoRace for fully automated reasoning chain evaluation. Existing metrics rely on expensive human annotations or pre-defined LLM prompts not adaptable to different tasks. In contrast, AutoRace automatically creates detailed evaluation criteria tailored for each task, and uses GPT-4 for accurate evaluation following the criteria. (2) We develop LLM Reasoners, a library for standardized modular implementation of existing and new reasoning algorithms, under a unified formulation of the search, reward, and world model components. With the new evaluation and library, (3) we conduct extensive study of different reasoning approaches (e.g., CoT, ToT, RAP). The analysis reveals interesting findings about different factors contributing to reasoning, including the reward-guidance, breadth-vs-depth in search, world model, and prompt formats, etc.

연구 동기 및 목표

• 현재 인간의 정규화 작업이나 유연하지 않은 프롬프트에 의존하는 바탕으로, LLM이 생성한 추론 체인에 대한 자동화되고 작업 적응형 평가의 부족을 해결하기 위해.
• CoT, ToT, RAP와 같은 다양한 추론 알고리즘을 통일된 수학적 형식으로 통합하여 체계적인 비교 및 구현을 가능하게 하기 위해.
• 보상 지침, 탐색 폭과 깊이, 세계 모델 사용, 프롬프트 설계와 같은 추론 성능에 영향을 미치는 핵심 요소를 분석하기 위해.
• GPT-4, Claude-3, Llama-2와 같은 주요 LLM의 추론 능력을 최종 답변 정확도 외에도 추론 품질 지표를 통해 평가하기 위해.
• 특정 작업에서의 실패 패턴을 드러내기 위해, 예를 들어 공감각 작업에서 과도하게 구체적인 프롬프트로 인해 RAP가 사실 왜곡을 일으키는 등

제안 방법

• AutoRace는 GPT-4를 활용해 LLM이 생성한 추론 체인의 오류를 요약함으로써 작업별 평가 기준을 자동으로 생성하여 인간의 개입 없이도 동적이고 적응형 평가가 가능하도록 한다.
• 이 평가 기준은 GPT-4가 각 작업 기반으로 추론 체인의 논리적 일관성, 사실 정확도, 단계별 일관성에 대해 평가하도록 지시하는 데 사용된다.
• LLM Reasoners는 추론 상태의 검색 과정으로서 추론을 정의하며, 보상 함수, 세계 모델, 탐색 알고리즘(예: 빔 서치, MCTS)으로 매개변수화된다.
• 이 라이브러리는 보상, 세계 모델, 탐색을 위한 모듈화되고 조합 가능한 구성 요소를 제공하며, 표준화된 API와 시각화 기능을 통해 재현성과 확장성을 확보한다.
• 통합된 수식은 기존 방법들(CoT, ToT, RAP)을 세 가지 핵심 구성 요소의 특정 설정으로 매핑할 수 있도록 한다.
• 이 프레임워크는 새로운 추론 알고리즘의 즉각 통합과 설계 요소에 대한 통제된 분석 실험을 가능하게 한다.

실험 결과

연구 질문

• RQ1 인간 정규화 기반 자료나 고정된 프롬프트에 의존하지 않고, 다양한 작업에서 추론 체인을 자동으로 정확하게 평가할 수 있는 방법은 무엇인가?
• RQ2 보상 지침, 탐색 전략, 세계 모델, 프롬프트 형식 등과 같은 핵심 설계 요소들이 LLM의 추론 품질에 미치는 영향은 무엇인가?
• RQ3 CoT, ToT, RAP와 같은 다양한 추론 알고리즘은 작업 전반에서 추론 체인의 정확성과 최종 답변 정확도 측면에서 어떻게 비교될 수 있는가?
• RQ4 GPT-4, Claude-3과 같은 주요 LLM들은 최종 답변 정확도를 초월해 추론 품질에서 얼마나 다른가? 이러한 차이의 이유는 무엇인가?
• RQ5 특히 장기적인 시퀀스에서 상태 추적을 요구하는 작업에서 세계 모델의 통합이 추론 성능에 어떤 영향을 미치는가?

주요 결과

• AutoRace는 최종 답변 전용 평가에서 놓친 잘못된 추론 체인의 70.4%를 탐지하여 인간 평가와 강한 상관관계를 보였다.
• StrategyQA에서 정답을 낸 추론 체인의 39%는 논리적 또는 사실적 오류를 포함하고 있어, 추론 전용 평가의 필요성을 강조한다.
• Blocksworld 작업에서 세계 모델을 사용한 RAP는 ToT보다 42% 높은 성능을 보였으며, 명시적인 상태 추적의 중요성을 입증한다.
• 프롬프트 형식은 추론 품질에 결정적인 영향을 미친다: RAP의 반복적 하위질문 프롬프트 방식은 사실 왜곡(예: 잘못된 수치 7,000 등)을 증가시키며, 특히 공감각 작업에서 두드러진다.
• GPT-4 Turbo와 Claude-3 Opus는 다양한 작업에서 추론 능력에서 두각을 나타내며, GPT-4는 정답 정확도가 약한 모델들과 유사한데도 StrategyQA에서 AutoRace 점수 0.91로 뛰어난 추론 품질을 보였다.
• AutoRace 점수 기반 모델 순위는 답변 전용 순위와 크게 다름을 확인하여, 추론 품질은 정답 정확도를 초월해 독립적이고 핵심적인 능력임을 드러냈다.