[논문 리뷰] How Likely Do LLMs with CoT Mimic Human Reasoning?

Guangsheng Bao, Hongbo Zhang외 3명|arXiv (Cornell University)|2024. 02. 25.

Auction Theory and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 체인 오브 씽크(Chain-of-Thought, CoT)가 LLM에서 인간의 인과적 추론을 진정으로 모방하는지 분석하기 위해 구조적 인과 모델(Structural Causal Models, SCMs)을 통해 인과적 구조를 분석한다. 분석 결과, LLM은 종종 잘못된 CoT를 통해 정확한 답변을 도출하며, 이는 비인과적 추론을 의미한다. 간섭 분석을 통해 인-컨텍스트 학습과 피팅 튜닝이 지시사항과 답변 사이의 인과 관계를 크게 변화시키는 것으로 나타났고, CoT의 인과적 영향은 약한 편이었다. 이는 LLM과 인간의 추론 과정 사이에 근본적인 격차가 있음을 드러낸다.

ABSTRACT

Chain-of-thought emerges as a promising technique for eliciting reasoning capabilities from Large Language Models (LLMs). However, it does not always improve task performance or accurately represent reasoning processes, leaving unresolved questions about its usage. In this paper, we diagnose the underlying mechanism by comparing the reasoning process of LLMs with humans, using causal analysis to understand the relationships between the problem instruction, reasoning, and the answer in LLMs. Our empirical study reveals that LLMs often deviate from the ideal causal chain, resulting in spurious correlations and potential consistency errors (inconsistent reasoning and answers). We also examine various factors influencing the causal structure, finding that in-context learning with examples strengthens it, while post-training techniques like supervised fine-tuning and reinforcement learning on human feedback weaken it. To our surprise, the causal structure cannot be strengthened by enlarging the model size only, urging research on new techniques. We hope that this preliminary study will shed light on understanding and improving the reasoning process in LLM.

연구 동기 및 목표

• LLM에서 체인 오브 씽크(CoT)가 인간과 유사한 진정한 인과적 추론을 반영하는지 조사하기.
• 구조적 인과 모델(Structural Causal Models, SCMs)을 사용하여 LLM 내 CoT, 지시사항, 답변 간의 인과적 구조를 규명하기.
• LLM의 암시적 SCM을 인간의 추론과 비교하여 격차를 파악하기.
• 인-컨텍스트 학습, 지도 피팅 튜닝, RLHF와 같은 훈련 기법이 LLM 추론의 인과적 구조에 어떻게 영향을 미치는지 분석하기.
• LLM 추론 오류를 사전 예측하고 설명하기 위한 인과 분석 프레임워크 개발하기.

제안 방법

• 저자들은 간섭 기반 인과 분석을 사용하여 CoT 또는 지시사항이 LLM에서 답변을 직접 유도하는지 테스트한다. 이때 CoT와 지시사항 중 하나를 고정하고 다른 요소에 간섭을 가한다.
• 여러 작업과 모델에서 LLM 출력으로부터 유추된 구조적 인과 모델(Structural Causal Models, SCMs)을 구축하고 비교하여 암시적 인과 구조를 규명한다.
• 통제된 간섭을 적용한다: CoT를 황금 표준 또는 무작위 추론으로 대체하고, 지시사항의 역할이나 편향을 변경하여 답변 정확도에 대한 영향을 측정한다.
• 분석은 6개의 추론 작업(GSM8K, LogiQA, FOLIO 등)과 4개의 LLM(Llama2, GPT-3.5-Turbo, GPT-4, Mistral-7B)에 적용되며, 통계적 유의성 검정을 통해 결과를 집계한다.
• 치료 효과 이동을 인과 방향의 지표로 삼아, 인과 영향 패tern에 기반해 암시적 SCM 유형을 분류한다.
• 인-컨텍스트 학습(ICL), 지도 피팅 튜닝(SFT), RLHF의 영향을 간섭 기반 비교를 통해 분석하며, 다양한 모델 변형 간 비교를 수행한다.

Figure 1: CoT and Answer do not fully align. Refer to Figure 4 in Appendix C for instances and Section 4 for a thorough explanation.

실험 결과

연구 질문

• RQ1 정확한 체인 오브 씽크(CoT)가 LLM에서 정확한 답변으로 이어지는 정도는 어느 정도인가?
• RQ2 LLM에서 CoT와 최종 답변 사이에 인간 추론과 동일한 직접적인 인과 관계가 존재하는가?
• RQ3 인-컨텍스트 학습, SFT, RLHF와 같은 훈련 기법이 LLM에서 지시사항과 답변 간의 인과적 구조에 어떻게 영향을 미치는가?
• RQ4 LLM의 암시적 SCM은 인간 추론의 그것과 어떻게 비교되며, 어디서 다름을 보이는가?
• RQ5 인과적 구조 분석은 LLM 추론 오류를 예측하거나 설명할 수 있는가?

주요 결과

• LLM은 종종 잘못된 CoT를 통해 정확한 답변을 도출하고, 정확한 CoT를 통해 잘못된 답변을 도출하는 경향이 있어, CoT가 추론 품질의 신뢰할 수 있는 지표가 아님을 시사한다.
• 간섭 분석 결과, 인-컨텍스트 학습(ICL)은 지시사항과 답변 사이의 인과 구조를 크게 변화시키며, 특히 덧셈과 곱셈과 같은 작업에서 두드러진다.
• 지도 피팅 튜닝(SFT)과 RLHF는 지시사항과 답변 간의 인과 관계에 강력한 영향을 미치지만, CoT에서 답변으로의 인과 연결에는 최소한의 영향을 준다.
• LLM의 암시적 SCM은 인간 추론에서 관찰되는 인과 일관성과는 거리가 있으며, CoT가 종종 답변의 진정한 원인이 되지 않는 경향이 있다.
• 더 큰 모델(Llama2-70B-Chat 등)은 더 최적의 SCM 유형에 가까워지며, 이는 규모가 인과 일치를 향상시킬 수 있음을 시사한다.
• 본 연구는 사전 훈련 데이터에서 유도된 유사 상관관계가 비인과적 추론을 유도할 수 있음을 규명하였으며, 이는 CoT가 예측 가능할 수는 있지만 답변에 대해 인과적으로 책임지지 않는 경우를 의미한다.

Figure 2: LLMs with CoT exhibit inconsistent effects, where the CoT shows inferior performance to Direct in the tasks on the left but superior performance in the tasks on the right in a zero-shot setting. A more comprehensive set of results can be found in Table 6 in Appendix C . (The Addition resul