[논문 리뷰] Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought

Abulhair Saparov, He He|arXiv (Cornell University)|2022. 10. 03.

Topic Modeling인용 수 38

한 줄 요약

본 논문은 PRONTOQA를 소개하며, 형식적 증명을 갖춘 합성 QA 데이터셋으로 LLM의 사고사 체인(chain-of-thoughts) 분석을 가능하게 하고, 모델이 개별 추론 단계를 올바르게 제시할 수는 있지만 증명 계획 및 다수의 연역 경로를 탐색하는 데 어려움을 겪는다고 보인다.

ABSTRACT

Large language models (LLMs) have shown remarkable reasoning capabilities given chain-of-thought prompts (examples with intermediate reasoning steps). Existing benchmarks measure reasoning ability indirectly, by evaluating accuracy on downstream tasks such as mathematical reasoning. However, it is unclear how these models obtain the answers and whether they rely on simple heuristics rather than the generated chain-of-thought. To enable systematic exploration of the reasoning ability of LLMs, we present a new synthetic question-answering dataset called PrOntoQA, where each example is generated from a synthetic world model represented in first-order logic. This allows us to parse the generated chain-of-thought into symbolic proofs for formal analysis. Our analysis on InstructGPT and GPT-3 shows that LLMs are quite capable of making correct individual deduction steps, and so are generally capable of reasoning, even in fictional contexts. However, they have difficulty with proof planning: When multiple valid deduction steps are available, they are not able to systematically explore the different options.

연구 동기 및 목표

• LLMs가 학습된 해답을 단순히 검색하는 것이 아니라 사고사 체인(chain-of-thought)을 통해 추론하는지 평가한다.
• 예측된 CoT 단계와 정답 증명(gold proofs)을 대조하기 위한 형식적으로 구문 분석 가능한 데이터셋(PRONTOQA)을 제공한다.
• 온톨로지 유형, 홉 수, 탐색 방향과 같은 요인이 추론에 어떤 영향을 미치는지 평가한다.

제안 방법

• 합성 1차 논리(onotology)와 그 증명을 생성한다.
• 증명을 해당 라벨과 함께 자연어 CoT 트레이스로 변환한다.
• CoT를 다시 기호 형태로 구문 해석하여 로컬 및 글로벌 증명 정확도를 측정한다.
• 제어된 변수(홉 수, 온톨로지 유형, 탐색 방향) 하에서 INSTRUCTGPT와 GPT-3을 평가한다.
• 증명 단계를 정형화된(canonical), 원자/비원자(atomic/non-atomic), 그리고 유효성 카테고리로 분류하여 다중 정확도 지표를 정의한다.

실험 결과

연구 질문

• RQ1 합성 온톨로지를 대상으로 추론할 때 LLM이 CoT에서 개별 증명 단계를 유효하게 제시할 수 있는가?
• RQ2 여러 개의 유효한 단계가 존재할 때 모델이 글로벌 증명 계획 능력을 보이는가?
• RQ3 온톨로지 실재성(true/false/가상/허구)과 탐색 방향이 추론에 어떤 영향을 미치는가?
• RQ4 정확한 추론과 표면적인 라벨 정확도 간에 가장 잘 상관되는 지표는 무엇인가?
• RQ5 모델 크기가 추론 능력과 교정에 얼마나 영향을 미치는가?

주요 결과

• LLMs는 허구 온톨로지에서도 개별 추론 단계를 올바르게 생성할 수 있다.
• 여러 개의 유효한 단계가 가능할 때 증명 계획에 어려움을 겪어 불완전한 증명이나 잘못된 답으로 이어진다.
• 실세계 지식(true 온톨로지)은 추론을 향상시키고 홉 수에 대한 민감성을 줄인다.
• 더 큰 모델은 증명 정확도가 높고 잘못된 단계가 적으며, text-davinci-002가 더 작은 변종들보다 뛰어나다.
• 라벨 정확도는 엄격한 증명 정확도를 엄밀히 추적하지는 않지만, skip이나 valid proof accuracy와 같은 가장 관대 한 지표와는 더 잘 정렬된다.