[논문 리뷰] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models

Denny Zhou, Nathanael Schärli외 9명|arXiv (Cornell University)|2022. 05. 21.

Topic Modeling인용 수 317

한 줄 요약

최소-에서-최대까지 프롬프트는 어려운 문제를 더 쉬운 하위 문제의 시퀀스로 분해하고 차례로 해결함으로써, 학습 없이도 LLM이 더 어려운 작업에 일반화할 수 있게 한다. 표상 조작, 구성 일반화, 수학 추론 벤치마크에서 표준 프롬프트 및 사고 흐름 프롬프팅을 능가한다.

ABSTRACT

Chain-of-thought prompting has demonstrated remarkable performance on various natural language reasoning tasks. However, it tends to perform poorly on tasks which requires solving problems harder than the exemplars shown in the prompts. To overcome this challenge of easy-to-hard generalization, we propose a novel prompting strategy, least-to-most prompting. The key idea in this strategy is to break down a complex problem into a series of simpler subproblems and then solve them in sequence. Solving each subproblem is facilitated by the answers to previously solved subproblems. Our experimental results on tasks related to symbolic manipulation, compositional generalization, and math reasoning reveal that least-to-most prompting is capable of generalizing to more difficult problems than those seen in the prompts. A notable finding is that when the GPT-3 code-davinci-002 model is used with least-to-most prompting, it can solve the compositional generalization benchmark SCAN in any split (including length split) with an accuracy of at least 99% using just 14 exemplars, compared to only 16% accuracy with chain-of-thought prompting. This is particularly noteworthy because neural-symbolic models in the literature that specialize in solving SCAN are trained on the entire training set containing over 15,000 examples. We have included prompts for all the tasks in the Appendix.

연구 동기 및 목표

• 대형 언어 모델에서 쉬운 문제에서 어려운 문제로의 일반화를 촉진하고 사고 흐름 프롬프팅의 한계를 다룬다.
• 문제를 분해한 다음 하위 문제를 순차적으로 해결하는 두 단계 프롬프트 프레임워크를 도입한다.
• 최소-에서-최대까지 프롬프팅이 표상 조작, SCAN 구성 일반화, 수학 추론 데이터셋에서 더 어려운 문제에 일반화할 수 있음을 보인다.

제안 방법

• 두 단계 프롬프트: (i) 분해 프롬프트는 문제를 하위 문제로 나누는 것을 시연; (ii) 하위 문제 해결 프롬프트는 이전 답을 사용한 순차적 해결을 보여준다.
• 프롬pts는 소수-shot이며 모델 학습이나 미세 조정이 필요 없다.
• 프롬프트는 사고 흐름 프롬프트나 자기 일관성 디코딩과 함께 또는 독립적으로 사용할 수 있다.
• 프롬프트는 이전에 해결된 하위 문제의 출력(base case와 재귀 단계)을 이용해 해답을 구성하도록 모델을 가르치도록 설계되었다.
• 다양한 작업에 걸쳐 평가하는데, 표상 조작(마지막 글자 연결), SCAN 구성 일반화, 수학 추론(GSM8K 및 DROP)을 포함한다.

실험 결과

연구 질문

• RQ1 최소-에서-최대까지 프롬프팅으로 프롬프트에서 본 것보다 더 어려운 문제를 LLM이 해결할 수 있는가?
• RQ2 하위 문제로 분해하는 것이 표상, 구성적, 수학적 추론 과제의 일반화를 개선하는가?
• RQ3 이 도메인에서 최소-에서-최대까지 프롬프팅은 사고 흐름 프롬프팅과 어떻게 비교되는가?
• RQ4 훈련 없이 프롬프팅만으로 SCAN 및 GSM8K/DROP 같은 벤치마크에서 높은 정확도를 달성할 수 있는가?

주요 결과

• 마지막 글자 연결에서 최소-에서-최대까지 프롬프팅은 사고 흐름 프롬프팅보다 더 높은 정확도를 달성하며, 특히 목록 길이가 증가할수록 차이가 커진다.
• SCAN에서 code-davinci-002는 최소-에서-최대까지 프롬프팅으로 길이 분할 하에서 99.7%의 정확도에 도달하여 표준 프롬프트와 사고 흐름 프롬프팅보다 큰 차이로 우수한 성능을 보인다.
• GSM8K 및 DROP에서 최소-에서-최대까지 프롬프팅은 사고 흐름 프롬프팅을 능가하며, 특히 DROP에서 눈에 띄는 이점을 보이고 GSM8K에서도 비슷한 이점을 보이며 많은 단계가 필요한 문제에서 특히 그렇다.
• 분해 기반 프롬프트는 모델 학습 없이도 제시된 것보다 더 길거나 복잡한 문제를 해결하게 한다.
• 오류 분석에 따르면 대부분의 실패는 하위 문제 해결의 잘못된 해석보다는 연결/단계 해석에서 기인한다.