[논문 리뷰] Metacognitive Capabilities of LLMs: An Exploration in Mathematical Problem Solving

Aniket Didolkar, Anirudh Goyal외 8명|arXiv (Cornell University)|2024. 05. 20.

Intelligent Tutoring Systems and Adaptive Learning인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 수학적 추론에서 자신의 문제 해결 기술을 식별하고 정리함으로써 자기 인지 능력을 지닌다는 것을 입증한다. 두 단계 프롬프팅 프레임워크인 스킬 레이블링과 의미적 클러스터링을 사용하여, LLMs는 해석 가능한, 굵은 틀의 스킬 레이블을 생성하며, 이러한 레이블을 문맥 내 예시로 활용함으로써, GPT-4와 코드 보조 모델을 포함한 여러 강력한 LLMs에서 GSM8K 및 MATH 벤치마크에서 정확도를 크게 향상시킨다.

ABSTRACT

Metacognitive knowledge refers to humans' intuitive knowledge of their own thinking and reasoning processes. Today's best LLMs clearly possess some reasoning processes. The paper gives evidence that they also have metacognitive knowledge, including ability to name skills and procedures to apply given a task. We explore this primarily in context of math reasoning, developing a prompt-guided interaction procedure to get a powerful LLM to assign sensible skill labels to math questions, followed by having it perform semantic clustering to obtain coarser families of skill labels. These coarse skill labels look interpretable to humans. To validate that these skill labels are meaningful and relevant to the LLM's reasoning processes we perform the following experiments. (a) We ask GPT-4 to assign skill labels to training questions in math datasets GSM8K and MATH. (b) When using an LLM to solve the test questions, we present it with the full list of skill labels and ask it to identify the skill needed. Then it is presented with randomly selected exemplar solved questions associated with that skill label. This improves accuracy on GSM8k and MATH for several strong LLMs, including code-assisted models. The methodology presented is domain-agnostic, even though this article applies it to math problems.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 기본적인 추론 능력 이상으로 자신의 추론 기술에 대한 인식, 즉 자기 인지 지식을 지니는지 여부를 조사하는 것.
• LLMs가 내부의 문제 해결 기술을 자율적으로 탐색하고, 이해할 수 있는 굵은 틀의 카테고리로 정리할 수 있는 도메인에 관계없는, 프롬프팅 기반의 방법론을 개발하는 것.
• 자기 식별한 스킬 레이블이 의미 있고 유용한지 확인하기 위해, 이를 문맥 내 학습에 통합하여 수학 추론 과제에서의 제로샷 일반화 성능을 향상시키는 것.
• LLM이 스스로 생성한 스킬 태그노미를 기반으로 정제된 스킬 예시 레포지터리를 활용하여 수학 추론 벤치마크에서 LLM의 성능을 향상시키는 것.

제안 방법

• 먼저, GPT-4와 같은 강력한 LLM을 사용하여, GSM8K 및 MATH와 같은 수학 데이터셋의 각 훈련 예제에 대해 필요한 추론 과정에 기반해 세밀한 스킬 레이블을 할당한다.
• 다음으로, 동일한 LLM이 레이블이 부여된 예제들에 대해 의미적 클러스터링을 수행하여 유사한 세밀한 스킬들을 더 넓은, 이해할 수 있는 스킬 가문으로 묶으며, 5,000개 이상의 레이블을 약 117개의 굵은 틀의 스킬로 감소시킨다.
• 각 굵은 틀의 스킬 레이블과 훈련 세트에서 유사한 질문-답안 쌍을 포함한 스킬 예시 레포지터리가 구축된다.
• 추론 과정에서, 대상 LLM은 레포지터리에서 새로운 테스트 질문에 가장 관련성이 높은 굵은 틀의 스킬을 식별하도록 프롬프팅된다.
• 그 후, 선택된 스킬 카테고리에서 유사한 예시들을 문맥 내에 제공하여 LLM이 인간의 예시 기반 학습 방식을 모방하도록 유도한다.
• 이 방법은 GPT-4와 코드 보조 모델을 포함한 여러 강력한 LLMs에 적용되었으며, 두 가지 주요 수학 벤치마크에서 검증되었다.

Figure 3 : Skill Wise Plot In this Figure we compare the the per-skill accuracies for the Skill-Based approach and the Random approach on the GSM8K dataset. We can see that proposed Skill-Based approach results in better accuracies for 11/18 skills.

실험 결과

연구 질문

• RQ1 LLMs는 수학 문제를 해결하기 위해 요구되는 특정 추론 기술을 자율적으로 식별하고 레이블링할 수 있는가?
• RQ2 LLMs가 생성한 스킬 레이블은 의미적으로 일관되고 이해할 수 있는 클러스터를 형성하는가? 이는 의미 있는 추론 카테고리를 반영하는가?
• RQ3 자기 식별한 스킬 예시를 사용하면, LLM의 새로운 수학 문제에 대한 정확도가 향상되는가?
• RQ4 스킬 예시를 사용한 성능 향상 효과는 다양한 LLM 아키텍처와 프롬프팅 전략에 걸쳐 일관되게 유지되는가?

주요 결과

• LLMs는 수학 문제에 대해 약 5,000개의 고유한 세밀한 레이블을 생성할 수 있으며, 이는 MATH 데이터셋에서 클러스터링 이전의 결과이다.
• 의미적 클러스터링을 통해 스킬 레이블 수를 5,000개 이상에서 117개의 이해할 수 있는 굵은 틀의 스킬 가문으로 감소시켰으며, 이는 LLM이 자신의 추론 지식을 조직할 수 있음을 보여준다.
• 스킬 예시 레포지터리를 문맥 내 예시로 활용하면, GPT-4와 코드 보조 모델을 포함한 여러 강력한 LLMs에서 GSM8K 및 MATH 벤치마크에서 제로샷 정확도가 향상된다.
• 성능 향상 효과는 다양한 LLM에 걸쳐 일관되며, 이는 방법이 모델에 종속되지 않고 강건함을 시사한다.
• 스킬 예시 레포지터리는 인간이 이해할 수 있으며, 'vector_operations', 'trigonometric_calculations', 'combinatorics_knowledge'와 같은 의미 있는 추론 카테고리를 반영한다.
• 이 방법은 도메인에 관계없기 때문에, 수학적 추론을 넘어서도 광범위하게 적용 가능할 잠재력을 지닌다.