[논문 리뷰] Two Failures of Self-Consistency in the Multi-Step Reasoning of LLMs

Angelica Chen, Jason Phang외 5명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 다단계 추론 중 대규모 언어 모델(LM)에서 자기일관성(self-consistency)의 두 가지 핵심 실패 원인을 규명한다: 가정적 일관성(hypothetical consistency, 특정 프롬프트에 대한 응답을 가정적으로 예측하는 능력)과 구성적 일관성(compositional consistency, 중간 추론 단계를 모델이 생성한 출력으로 대체했을 때도 일관성 유지 능력). 소수의 예제 정확도는 매우 높지만, GPT-3와 GPT-4 모델은 이 두 유형 모두에서 낮은 일관성 비율을 보이며, 복잡한 추론 작업에서 논리적 신뢰성 측면에서 근본적인 격차가 있음을 드러낸다.

ABSTRACT

Large language models (LLMs) have achieved widespread success on a variety of in-context few-shot tasks, but this success is typically evaluated via correctness rather than consistency. We argue that self-consistency is an important criteria for valid multi-step reasoning in tasks where the solution is composed of the answers to multiple sub-steps. We propose two types of self-consistency that are particularly important for multi-step reasoning -- hypothetical consistency (a model's ability to predict what its output would be in a hypothetical other context) and compositional consistency (consistency of a model's final outputs when intermediate sub-steps are replaced with the model's outputs for those steps). We demonstrate that multiple variants of the GPT-3/-4 models exhibit poor consistency rates across both types of consistency on a variety of tasks.

연구 동기 및 목표

• LLM에서 유효한 다단계 추론을 위해 필수적인 두 가지 새로운 자기일관성 유형인 가정적 일관성과 구성적 일관성을 규명하고 정식화하기.
• GPT-3와 GPT-4와 같은 최신 LLM이 이 새로운 변형에 대해 일관성을 유지하는지 조사하기.
• 중간 단계가 포함된 다단계 추론 작업에서 정확성과 일관성 간의 관계 평가하기.
• 표준 벤치마크에서 높은 정확도를 보임에도 불구하고, 구성적 및 가정적 프롬프트 변형에 대해 일반화하는 데에 논리적 실패를 보이는 현재 LLM의 한계를 부각하기.
• 낮은 일관성이 복잡한 추론에서 LLM 출력의 신뢰성을 떨어뜨리는 것을 실증적으로 입증하기, 즉 최종 답변이 정확하더라도 일관성이 떨어질 수 있음을 보여주기.

제안 방법

• 가정적 일관성을 모델이 특정 프롬프트에 대해 '가령, <프롬프트>에 대한 응답은 무엇이었을까?'와 같은 가정적 맥락에서 자신의 응답을 예측할 수 있는 능력으로 정의한다.
• 구성적 일관성을 중간 추론 단계를 모델이 생성한 출력으로 대체했을 때도 일관된 출력을 유지할 수 있는 능력으로 정의한다.
• 변형된 프롬프트가 의미를 유지하는지를 평가하기 위해 의미적 동치성(~)을 정식화하여, 변형 간 일관성 평가가 가능하도록 한다.
• 일관성 평가를 위해 결정론적 출력을 보장하기 위해 그리디 디코딩을 사용한다: $ g_{p_ heta}(c) = ext{arg} ext{max}_v p_ heta(y=v|c; ilde{y}_{<t}) $.
• 원본 프롬프트와 변형된 프롬프트(가정적 및 구성적) 간의 모델 출력을 비교하여 일관성 평가하며, 의미적 동치성을 사용해 일치 여부를 판단한다.
• 여러 작업과 모델 버전(Davinci-001, Curie, Ada, GPT-3.5, GPT-4 등)을 대상으로 실증 평가를 수행하여, 두 변형 유형 모두에서 일관성 비율 측정하기.

Figure 1 : An overview of the two types of self-consistency failures we identify in LLMs.

실험 결과

연구 질문

• RQ1 다양한 모델 간에 LLM이 직접적으로 주어지지 않은 프롬프트에 대해 자신의 응답을 예측하는 능력, 즉 가정적 일관성은 어느 정도 유지되는가?
• RQ2 중간 추론 단계를 모델의 출력으로 대체했을 때 LLM은 구성적 일관성을 어느 정도 유지하는가?
• RQ3 다단계 추론 작업에서 정확성과 구성적 일관성 간에 상관관계가 있는가?
• RQ4 더 큰 LLM이 가정적 및 구성적 변형 모두에서 더 높은 자기일관성을 보이는가?
• RQ5 표준 벤치마크에서 높은 정확도를 보임에도 불구하고, LLM이 구성적 작업에서 논리적 일반화에 실패하는 이유는 무엇인가?

주요 결과

• GPT-3와 GPT-4 모델은 평균적으로 50% 이하의 가정적 일관성 비율을 보이며, 이는 가정적 맥락에서 자신의 응답을 예측하는 능력이 떨어짐을 시사한다.
• 모델 간 구성적 일관성 역시 낮으며, 작업 및 모델 크기에 따라 30%에서 60%의 범위에서 변동한다. 이는 중간 단계를 모델이 생성한 출력으로 대체했을 때 종종 일관성 없는 최종 답변이 도출됨을 보여준다.
• 정확성과 구성적 일관성 간에 뚜렷한 선형 관계가 존재하지만, 모델는 항상 정확도보다 일관성에서 뒤지므로, 최종 답변이 정확하더라도 중간 추론 과정이 일관되지 않을 수 있음을 시사한다.
• 더 큰 모델(Davinci-001 등)은 더 작은 모델(예: Ada 등)보다 높은 일관성 비율을 보이며, 스케일이 자기일관성 실패를 완화하지만 근본적으로는 제거하지는 않음을 시사한다.
• 구성적 일관성 실패의 원인은 토크나이제이션 또는 어휘 재구성 때문이 아니라, 최종 답변이 정확하더라도 추론 체인 전반에 걸쳐 내부 일관성을 유지하지 못하기 때문이다.
• 본 연구는 표준 벤치마크에서의 높은 정확도가 논리적 신뢰성과 동치가 아니며, 모델가 전체적으로 정확할 수 있지만 중간 또는 변형된 추론 경로에서 일관성 검사를 통과하지 못할 수 있음을 드러낸다.

Figure 2 : Hypothetical consistency rates on multiple-choice self-knowledge prompts for the Wikipedia and DailyDialog datasets, across the four GPT-3 model sizes. Each line is the average taken across all $k$ -shot prompts, for $k\in[1,\cdots,10]$ . The shaded region represents the 95% confidence in