[논문 리뷰] When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs

Ryo Kamoi, Yusen Zhang외 3명|arXiv (Cornell University)|2024. 06. 03.

Legal Education and Practice Innovations인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 자기 수정(self-correction)을 비판적으로 조사하며, LLMs가 자신의 실수를 신뢰성 있게 수정할 수 있는 조건을 규명한다. 연구 결과, 문맥 내 학습(in-context learning)을 사용할 경우 일반적인 작업에서는 자기 수정이 실패하지만, 신뢰할 수 있는 외부 피드백 또는 대규모 미세조정(fine-tuning)을 사용할 경우 성공함을 확인하였다. 이는 피드백 생성이 핵심적인 제약 조건임을 시사한다.

ABSTRACT

Self-correction is an approach to improving responses from large language models (LLMs) by refining the responses using LLMs during inference. Prior work has proposed various self-correction frameworks using different sources of feedback, including self-evaluation and external feedback. However, there is still no consensus on the question of when LLMs can correct their own mistakes, as recent studies also report negative results. In this work, we critically survey broad papers and discuss the conditions required for successful self-correction. We first find that prior studies often do not define their research questions in detail and involve impractical frameworks or unfair evaluations that over-evaluate self-correction. To tackle these issues, we categorize research questions in self-correction research and provide a checklist for designing appropriate experiments. Our critical survey based on the newly categorized research questions shows that (1) no prior work demonstrates successful self-correction with feedback from prompted LLMs, except for studies in tasks that are exceptionally suited for self-correction, (2) self-correction works well in tasks that can use reliable external feedback, and (3) large-scale fine-tuning enables self-correction.

연구 동기 및 목표

• LLMs가 자신의 실수를 자기 수정할 수 있는지에 대한 합의가 부족한 문제를 다루기 위해.
• 자기 수정 연구에서 연구 질문을 식별하고 분류하여 실험 설계를 향상시키기 위해.
• 다양한 피드백 소스(문맥 내 학습, 외부 도구/지식, 미세조정)에서 자기 수정의 효과성을 평가하기 위해.
• 공정하고 타당한 자기 수정 실험을 설계하기 위한 체크리스트를 제공하기 위해.
• 실험적 분석을 바탕으로 자기 수정이 언제 효과적이며 언제 실패하는지 명확히 하기 위해.

제안 방법

• 자기 수정 연구의 질문을 세 유형으로 분류: 내재적 자기 수정(intrinsic self-correction, 즉 문맥 내 학습), 외부 피드백을 통한 자기 수정, 그리고 미세조정을 통한 자기 수정.
• 이해력, 프로그래밍, 질문-답변 작업 등 다양한 작업에서 이전 28篇의 연구를 분석하여, 다양한 피드백 소스에서 자기 수정 성능을 평가.
• 이전 연구에서 발견된 평가 절차의 결함을 규명: 공정하지 않은 비교 및 강력한 기준 모델의 부재.
• 타당한 실험 설계를 위한 체크리스트 제안: 적절한 기준 모델 비교 및 부정적 결과의 보고 포함.
• 피드백 품질이 자기 수정에서 가장 큰 제약 조건임을 평가하며, 특히 외부 감독 없이 문맥 내 학습에만 의존할 경우 더욱 두드러진다.
• 작업 특성(예: 분해 가능성)이 효과적인 자기 수정을 가능하게 하는 역할을 분석.

Figure 1 : Self-correction in three stages: initial response generation, feedback, and refinement.

실험 결과

연구 질문

• RQ1 외부 피드백 없이 문맥 내 학습만을 사용할 경우, LLMs는 어떤 조건에서 자기 수정을 성공할 수 있는가?
• RQ2 신뢰할 수 있는 외부 피드백(예: 도구나 검색에서 제공하는 피드백)이 가용할 경우 자기 수정은 얼마나 효과적인가?
• RQ3 대규모 미세조정은 강력한 자기 수정을 가능하게 하는가? 다른 방법과 비교해보면 어떻게 되는가?
• RQ4 이론적으로는 유망한데도 일부 자기 수정 프레임워크가 실패하는 이유는 무엇인가?
• RQ5 이전 자기 수정 평가에서 성능을 과대평가하게 만드는 주요 설계 결함는 무엇인가?

주요 결과

• 이전 연구 중 어느 것도 일반 작업에서 프롬프트된 LLM으로부터의 피드백만으로 성공적인 자기 수정을 보여주지 못했으며, 이는 문맥 내 학습이 자기 수정에 있어 근본적인 한계를 가짐을 시사한다.
• 코드 실행이나 웹 검색과 같이 출력이 검증 가능한 신뢰할 수 있는 외부 피드백이 가용한 작업에서는 자기 수정이 잘 작동함을 확인하였다.
• 대규모 미세조정은 자기 수정 성능을 크게 향상시키며, 이는 모델 능력이 추론하는 것이 아니라 학습을 통해 획득될 수 있음을 시사한다.
• 단계별 추론과 같은 분해 가능한 응답을 요구하는 작업은, 심지어 문맥 내 학습을 사용할 경우에도 자기 수정에 더 적합함을 확인하였다.
• 많은 이전 연구에서 공정하지 않은 평가 설정(예: 지나치게 강력한 기준 모델, 강력한 대안과의 비교 부재)을 사용하여 자기 수정 성능을 과대평가하는 경향이 있었다.
• 피드백 생성은 자기 수정에서 가장 큰 제약 조건이며, 특히 외부 감독 없이 문맥 내 학습에만 의존할 경우 더욱 두드러진다.

Figure 2 : LLM self-correction frameworks, categorized by information used for generating feedback and whether they use best-possible initial responses (§ 3.2 ). This figure illustrates representative architectures.