[논문 리뷰] Large Language Models Cannot Self-Correct Reasoning Yet

Jie Huang, Xinyun Chen외 5명|arXiv (Cornell University)|2023. 10. 03.

Topic Modeling인용 수 32

한 줄 요약

본 논문은 intrinsic self-correction(외부 피드백 없이 자체 수정)이 LLM의 추론을 신뢰성 있게 향상시키지 않는다고 주장합니다; 실제로 성능은 종종 감소하고, 외부 피드백이나 도구가 도움이 될 수 있으며, 다중 에이전트 토론은 대체로 self-consistency와 유사하게 처리되며 진정한 self-correction은 아님.

ABSTRACT

Large Language Models (LLMs) have emerged as a groundbreaking technology with their unparalleled text generation capabilities across various applications. Nevertheless, concerns persist regarding the accuracy and appropriateness of their generated content. A contemporary methodology, self-correction, has been proposed as a remedy to these issues. Building upon this premise, this paper critically examines the role and efficacy of self-correction within LLMs, shedding light on its true potential and limitations. Central to our investigation is the notion of intrinsic self-correction, whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback. In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction. Drawing from these insights, we offer suggestions for future research and practical applications in this field.

연구 동기 및 목표

• LLM이 외부 피드백 없이 추론을 자체적으로 수정할 수 있는지(내재적 자기 수정) 여부를 평가한다.
• 수정 안내에 오라클 피드백을 사용하는 기존 자기 수정 방법을 평가한다.
• 다중 에이전트 토론이나 자기 일관성이 실제 추론 개선을 가져오는지 검토한다.
• 자기 수정이 이득을 줄 때를 조사하고, 특히 사후 프롬프트와 사전 프롬프트의 차이를 비교한다.

제안 방법

• GPT-3.5-Turbo 및 GPT-4를 사용하여 GSM8K, CommonSenseQA, HotpotQA에서 3단계 자기 수정 프롬프트(초기 답변 → 피드백 → 수정된 답변)를 재현한다.
• 외부 피드백을 제거하고 두 차례의 자기 수정을 평가하여 내재적 자기 수정을 테스트한다.
• 진정한 수정과 표식 기반 개선을 구분하기 위해 오라클 가이드 자기 수정 및 무작위 기준선과 비교한다.
• GSM8K의 선행 연구에서 제시된 프롬프트를 사용하여 다중 에이전트 토론과 자기 일관성을 조사한다.
• 사후 프롬프팅 시나리오로서 제한된 생성을 분석하고 강력한 선행 프롬프트 기준선과 비교한다.

Figure 1: Analysis of the changes in answers after two rounds of self-correction. No Change : The answer remains unchanged; Correct $\Rightarrow$ Incorrect : A correct answer is changed to an incorrect one; Incorrect $\Rightarrow$ Correct : An incorrect answer is revised to a correct one; Incorrect

실험 결과

연구 질문

• RQ1 외부 피드백 없이 추론을 스스로 수정할 수 있는가(내재적 자기 수정)?
• RQ2 오라클 가이드 또는 외부 피드백을 이용한 자기 수정 방법이 내재적 자기 수정보다 추론 과제에서 더 나은가?
• RQ3 다중 에이전트 토론이 자기 일관성보다 추론 개선에 더 효과적인가?
• RQ4 자기 수정을 언제 유용하게 사용할 수 있으며, 사후 프롬프트가 사전 프롏프트에 비해 어떠한지?

주요 결과

데이터셋	GPT-3.5 표준 프롬프트	자기 수정(오라클)	GPT-4 표준 프롬프트	자기 수정(오라클)
GSM8K	75.9	84.3	95.5	97.5
CommonSenseQA	75.8	89.7	82.0	85.5
HotpotQA	26.0	29.0	49.0	59.0

• 내재적 자기 수정은 GPT-3.5 및 GPT-4에서 GSM8K, CommonSenseQA, HotpotQA 전반에서 성능을 일관되게 저하시킨다.
• 오라클 레이블이 있는 자기 수정은 정확도를 높이지만, 이는 실제 작업에서 사용할 수 없는 참조 피드백에 의존한다.
• 다중 에이전트 토론과 자기 일관성은 표준 프롬프트 대비 성능을 향상시키지만, 비교 가능한 응답 수를 사용할 때 다중 에이전트 토론은 자기 일관성을 능가하지 못한다.
• 자기 수정은 안전성이나 스타일 선호를 맞추는 데는 유리할 수 있지만, 외부 피드백 없이 추론 과제에 대해서는 거의 이점이 없다.
• 사후 프롬프트를 이용한 자기 수정은 때로 간단하고 잘 설계된 선행 프롬프트에 비해 성능이 떨어질 수 있으며, 추가 추론 비용이 정당화되지 않을 수 있다.

Figure 2: Examples on GSM8K (Cobbe et al., 2021 ) . Left : successful self-correction; Right : failed self-correction. Full prompts and responses can be viewed in Figures 3 and 4 of Appendix A .