[논문 리뷰] Towards Better Chain-of-Thought Prompting Strategies: A Survey

Zihan Yu, Liang He외 3명|arXiv (Cornell University)|2023. 10. 08.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

이 설문조사는 체인-오브-Thought 프롬프트(chain-of-thought prompting) 기반의 대형 언어 모델을 체계적으로 분석하고, 성능에 영향을 주는 네 가지 핵심 요인(작업, 프롬프트, 확장 전략, 모델)을 식별하며 향후 방향을 제시합니다.

ABSTRACT

Chain-of-Thought (CoT), a step-wise and coherent reasoning chain, shows its impressive strength when used as a prompting strategy for large language models (LLM). Recent years, the prominent effect of CoT prompting has attracted emerging research. However, there still lacks of a systematic summary about key factors of CoT prompting and comprehensive guide for prompts utilizing. For a deeper understanding about CoT prompting, we survey on a wide range of current research, presenting a systematic and comprehensive analysis on several factors that may influence the effect of CoT prompting, and introduce how to better apply it in different applications under these discussions. We further analyze the challenges and propose some future directions about CoT prompting. This survey could provide an overall reference on related research.

연구 동기 및 목표

• Chain-of-Thought 프롬프팅을 형식화하고 그 사용 파이프라인을 요약합니다.
• CoT 프례팅 성능에 크게 영향을 미치는 네 가지 핵심 요인: 작업 유형, 프롬프트 설계, 확장 전략, 모델을 식별합니다.
• 기존 CoT 프례팅 기법을 조사하고 이를 분류하여 실무 적용에 가이드를 제공합니다.
• 도전 과제를 논의하고 CoT 프례팅 연구를 발전시킬 향후 방향을 제안합니다.]
• methodListLabelUnableToCompute

제안 방법

• CoT 프례팅에 대한 체계적 분류 체계와 분석 프레임워크(작업 유형, 시연, 합리화, 프롬프트)를 제공합니다.
• 네 가지 영향 요인 하에 기존 CoT 프례팅 방법을 검토하고 정리합니다.
• 앙상블, 하위 문제 분할, 외부 보조, 합리화 등의 확장 및 설계 전략을 요약합니다.
• 모델 크기, 학습 코퍼스, CoT와 관련된 등장 능력 등 모델 관련 인사이트를 논의합니다.

실험 결과

연구 질문

• RQ1 CoT 프례팅으로 개선이 가장 잘 가능한 작업 유형은 무엇인가?
• RQ2 시演, 합리화, 프롬프트 설계가 작업 및 모델에 걸쳐 CoT 성능에 어떤 영향을 미치는가?
• RQ3 확장 전략(앙상블, 하위 문제, 외부 도구, 합리화)이 CoT 프례팅 성능을 가장 효과적으로 향상시키는가?
• RQ4 모델 크기와 학습 데이터가 CoT 프례팅의 등장 및 활용에 어떤 영향을 주는가?

주요 결과

• CoT 프례팅은 다단계 추론 작업에서 강한 이점을 보이며 해석 가능한 추론 흔적을 제공할 수 있습니다.
• CoT 성능에 크게 영향을 주는 네 가지 요인: 작업 유형, 프례트 설계, 확장 전략, 모델.
• 외부 지식 및 도구 통합은 오픈 도메인 또는 지식 집약적 작업에서 CoT 성능을 향상시킬 수 있습니다.
• 더 큰 모델 규모에서 CoT 능력이 나타나는 경향이 있으며, 소형 모델은 이점이 적거나 조정이 필요합니다.
• 도전 과제로는 생성 합리화의 진정성, 복잡한 실제 작업에 대한 일반화, 이론적 이해의 필요성이 있습니다.