[논문 리뷰] Automatic Chain of Thought Prompting in Large Language Models

Zhuosheng Zhang, Aston Zhang외 2명|arXiv (Cornell University)|2022. 10. 07.

Topic Modeling인용 수 233

한 줄 요약

Auto-CoT는 군집화와 제로샷 추론을 사용하여 다양한 사고의 연쇄 시연을 자동으로 구성하고 수작업으로 작성된 시연과 비교했을 때 열 가지 추론 벤치마크에서 경쟁력 있거나 우수한 성능을 달성한다.

ABSTRACT

Large language models (LLMs) can perform complex reasoning by generating intermediate reasoning steps. Providing these steps for prompting demonstrations is called chain-of-thought (CoT) prompting. CoT prompting has two major paradigms. One leverages a simple prompt like "Let's think step by step" to facilitate step-by-step thinking before answering a question. The other uses a few manual demonstrations one by one, each composed of a question and a reasoning chain that leads to an answer. The superior performance of the second paradigm hinges on the hand-crafting of task-specific demonstrations one by one. We show that such manual efforts may be eliminated by leveraging LLMs with the "Let's think step by step" prompt to generate reasoning chains for demonstrations one by one, i.e., let's think not just step by step, but also one by one. However, these generated chains often come with mistakes. To mitigate the effect of such mistakes, we find that diversity matters for automatically constructing demonstrations. We propose an automatic CoT prompting method: Auto-CoT. It samples questions with diversity and generates reasoning chains to construct demonstrations. On ten public benchmark reasoning tasks with GPT-3, Auto-CoT consistently matches or exceeds the performance of the CoT paradigm that requires manual designs of demonstrations. Code is available at https://github.com/amazon-research/auto-cot

연구 동기 및 목표

• 사고의 연쇄(CoT) 프롬프트에서 시연 설계를 자동화하여 수작업 노력을 줄이는 것을 목표로 한다.
• 자동으로 생성된 시연의 다양성이 CoT 성능을 향상시킨다는 것을 보여준다.
• 산술, 일반상식, 기호 추론 작업 전반에 걸쳐 Auto-CoT의 효과를 입증한다.

제안 방법

• Sentence-BERT 표현과 k-means를 사용해 질문을 클러스터링하여 다양한 그룹을 만든다.
• 각 클러스터에서 대표 질문을 선택하고 제로샷-CoT 프롬프트를 통해 추론 체인을 생성하여 시연을 만든다.
• 클러스터마다 하나씩 총 k개의 시연을 구성하고 테스트 질문을 컨텍스트 프롬프트로 함께 연결한다.
• 질문과 추론의 길이 제약 등 간단한 휴리스틱으로 시연을 필터링한다.
• GPT-3 (text-davinci-002)와 Codex로 Auto-CoT를 Zero-Shot-CoT, Zero-Shot-CoT, Few-Shot, Manual-CoT 대 baseline과 대조 평가한다.
• 산술, 일반상식, 기호 추론에 걸친 10개의 데이터셋에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 자동으로 구성된 CoT 시연이 다양성에 의해 수작업으로 설계된 시연과 같은 수준으로, 또는 그 이상으로 성능을 낼 수 있는가?
• RQ2 다양성 기반 샘플링이 Auto-CoT에서 잘못된 시연(유사성으로 인한 오도)을 완화하는가?
• RQ3 Auto-CoT가 다양한 추론 과제와 서로 다른 LLM 백본(GPT-3 및 Codex)에서 어떻게 성능을 보이는가?

주요 결과

• Auto-CoT는 GPT-3를 사용할 때 열 가지 추론 데이터셋에서 수작업-CoT를 지속적으로 상회하거나 동등한 수준의 성능을 달성한다.
• 산술 데이터셋에서 Auto-CoT는 수작업-CoT보다 거의 동일하거나 더 나은 정확도를 달성한다(예: MultiArith: 92.0 vs 91.7).
• Auto-CoT는 GSM8K, AddSub, AQuA, SingleEq, SVAMP, CSQA, Strategy, Letter, Coin 데이터셋에서도 수작업-CoT에 비해 경쟁력 있거나 우수하다.
• Codex를 사용할 때도 Auto-CoT는 수작업-CoT보다 경쟁력 있거나 종종 우수하다(예: MultiArith: 93.2 vs 96.8 for Manual-CoT, Auto-CoT: 93.2; AddSub: 91.9 vs 84.6 for Manual-CoT).
• Auto-CoT의 다양성 기반 샘플링은 잘못된 시연에 대해 강건성을 보여주며, 클러스터 내 샘플링이 잘못된 시연이 증가할 때도 우수성을 보인다.
• Auto-CoT는 Auto-CoT* 부트스트래핑을 통해 스트리밍 시나리오에 적응하며 초기 배치 이후에는 Manual-CoT와 유사한 성능을 보인다.