[논문 리뷰] MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning

Zayne Sprague, Xi Ye외 3명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 5

한 줄 요약

MuSR는 자연어 내러티브를 사용하여 대규모 언어 모델에서 다단계 소프트 추론을 평가하기 위한 새로운 벤치마크를 소개한다. 이는 신경기호 합성-자연어 파이프라인을 통해 생성된 것으로, GPT-4와 같은 모델이 복잡하고 공통지식이 풍부한 스토리(예: 1000단어 분량의 살인 미스터리)에 도전하게 하여, 고도로 발전된 프롬프팅 기법에도 불구하고도 여전히 지속되는 체인 오브 써포트 추론의 격차를 드러낸다.

ABSTRACT

While large language models (LLMs) equipped with techniques like chain-of-thought prompting have demonstrated impressive capabilities, they still fall short in their ability to reason robustly in complex settings. However, evaluating LLM reasoning is challenging because system capabilities continue to grow while benchmark datasets for tasks like logical deduction have remained static. We introduce MuSR, a dataset for evaluating language models on multistep soft reasoning tasks specified in a natural language narrative. This dataset has two crucial features. First, it is created through a novel neurosymbolic synthetic-to-natural generation algorithm, enabling the construction of complex reasoning instances that challenge GPT-4 (e.g., murder mysteries roughly 1000 words in length) and which can be scaled further as more capable LLMs are released. Second, our dataset instances are free text narratives corresponding to real-world domains of reasoning; this makes it simultaneously much more challenging than other synthetically-crafted benchmarks while remaining realistic and tractable for human annotators to solve with high accuracy. We evaluate a range of LLMs and prompting techniques on this dataset and characterize the gaps that remain for techniques like chain-of-thought to perform robust reasoning.

연구 동기 및 목표

• 자연어 내러티브와 다단계 공통지식 추론을 결합한 현실적이고 복잡한 추론 벤치마크의 부족을 해결하기 위해.
• 도메인 특화 사실에서 유래한 다단계 추론을 포함하는 사실 일관성 있고 인간이 해결할 수 있는 내러티브를 생성하는 확장 가능한 신경기호 데이터셋 생성 방법을 개발하기 위해.
• 복잡하고 실제 세계적인 추론 과제에서 체인 오브 써포트 프롬프팅과 신경기호 방법의 강건성을 평가하기 위해.
• 최신 LLM에서 고도의 프롬프팅 전략에도 불구하고 여전히 지속되는 추론 격차를 규명하기 위해.

제안 방법

• 신경기호 합성-자연어 생성 파이프라인은 먼저 추론 트리를 생성하여 도메인 특화 사실에서 유래한 다단계 추론을 인코딩한다.
• LLM를 사용하여 추론 트리를 반복적으로 확장함으로써 정답을 도출하기 위해 필요한 공통지식 추론을 인코딩한다.
• GPT-4를 사용하여 반복적인 청크 단위로 내러티브를 생성하며, 각 단계에서 사실 일관성과 기억 복원도 검증한다.
• 이 과정은 핵심 사실과 추론 경로를 유지하면서 내러티브의 현실성과 논리적 일관성을 보장한다.
• 데이터셋은 살인 미스터리, 물체 배치, 팀 구성의 세 도메인에 걸쳐 구축되며, 각각 깊이 있는 공통지식과 시스템 2 추론이 요구된다.
• 평가에는 750개의 인스턴스에 걸쳐 영역 전반에 걸쳐 제로샷 및 피어샷 체인 오브 써포트 프롬프팅, 그리고 신경기호 베이스라인을 포함한다.

Figure 1: Dataset construction process for MuSR. First, we generate gold facts that are used to deduce the correct answer (the murderer in this case). Then, using an LLM, we create a reasoning tree leading to those deductions from facts in a story combined with commonsense. Finally, we iteratively g

실험 결과

연구 질문

• RQ1 GPT-4와 같은 LLM은 명시적인 중간 단계 감시 없이 장문의 자연어 내러티브에서 추론 경로를 신뢰성 있게 복원할 수 있는가?
• RQ2 체인 오브 써포트 프롬프팅과 신경기호 방법은 복잡한 내러티브에 내장된 다단계 공통지식 추론 과제에서 어떻게 성능을 발휘하는가?
• RQ3 현재의 LLM은 지속적인 주의 집중과 다수의 사실 통합이 요구되는 내러티브에서 얼마나 견고하게 추론하지 못하는가?
• RQ4 신경기호 생성 방법은 모델의 발전에 따라 점점 더 복잡한 추론 내러티브를 생성하는 데 어떻게 스케일링되는가?

주요 결과

• 모든 프롬프팅 전략을 사용하더라도 GPT-4는 최종 내러티브에서 정확한 추론 경로를 복원하지 못하며, 이는 자연어 내러티브에 추론이 강건하게 인코딩되어 있지 않음을 시사한다.
• 체인 오브 써포트 프롬프팅은 MuSR에서 제한적인 개선을 보이며, 최신 모델이라도 여전히 지속적인 추론 격차가 있음을 드러낸다.
• 신경기호 생성 파이프라인이 사실 일관성 있고 인간이 해결할 수 있는 최대 1000단어 분량의 내러티브를 성공적으로 생성하여 확장 가능한 벤치마크 생성을 가능하게 하였다.
• 규칙 기반 시스템은 이 데이터셋을 해결할 수 없으며, 이는 데이터셋의 복잡성과 고급 추론 평가에 적합함을 확인한다.
• 인간 평가자들은 MuSR 인스턴스를 높은 정확도로 해결하여 데이터셋의 현실성과 해결 가능성의 타당성을 검증하였다.
• MuSR는 자연어, 다단계 추론, 공통지식, 중간 추론 구조를 결합하여 기존의 벤치마크를 능가한다.

Figure 2: Partial reasoning trees showing gold facts $F$ , story facts $S(T)$ , and commonsense facts $C(T)$ for each of our three domains. Dotted lines indicate incomplete trees. Each deduction sampled from an LLM will yield two scenario facts and one commonsense fact in our setup.